融合三维结构光和叶绿素荧光的植株光合表型成像系统

[目的/意义]植株光合表型研究在把握植株生理特性和解析植株形态结构上起着至关重要的作用,通过传统叶绿素荧光成像方法难以对植株光合作用三维空间异质性进行分析。为提高植株表型检测效率,满足高通量植株光合表型分析需求,本研究构建了一套经济实用、融合三维结构光和叶绿素荧光的植株光合表型成像系统。[方法]提出了一种自动化植株图像采集并建立植株可视化模型的方法,并进行图像分析获取植株光合效率信息。通过搭建结合叶绿素荧光激发的结构光条纹投影装置,先用LED (Light-Emitting Diode)白光与蓝光分别照射植株样本,再用投影仪对植株样本投射相移条纹,电动滤光轮配合相机同步采集不同光照条件下特定波段的植株图像;通过数字图像处理获取植株三维图像和对应的叶绿素荧光图像,并分析植株的三维形态结构及光合效率,将植株叶绿素荧光图像逐像素渲染到其三维结构上,便可推测出植株光合在三维空间中分布情况。[结果和讨论]该方法及系统能够高效多样化采集植株图像,快速重构出植株三维形态,其整体重建准确率可达到96.69%,整体误差仅为3.31%,重构时间仅需1.11s,同时能够满足植株光合效率评估需求。[结论]该研...     

基于机器视觉的大田植株生长动态三维定量化研究

高通量植物三维表型的研究对判定植株表型特征至关重要。基于机器视觉的植株三维表型获取方法在温室中已广泛应用,能够动态监测植株生长过程,但在大田复杂环境中应用较少。以大田生长的玉米、大豆植株为研究对象,基于机器视觉分析方法对不同生长时期玉米、大豆植株进行个体和群体的三维重建,并基于手动测量值对叶长、叶最大宽进行精度评估。研究结果表明,叶长、叶最大宽的计算值与手动测量值的R2均大于0.97,精度较高,表明大田环境下此方法可以满足作物表型三维构建参数提取的精度要求,但是当冠层遮挡较严重时,三维重建精度将明显下降。进一步自动提取了株高、冠幅和器官生长动态,结果可为与基因型相关的表型高通量分析提供方法,并可进行株型与冠层辐射的精确评价。     

基于改进Mask R-CNN的植物表型智能检测算法

针对高通量自动化获取的植物表型性状图像的智能检测问题,采用迁移学习和改进掩膜区域卷积神经网络(Mask R-CNN)设计植物表型智能检测分割算法。首先对残差网络进行优化,并利用特征金字塔网络(FPN)对输入图像进行特征提取;然后调整候选区域提取网络(RPN)中锚框的长宽比例和阈值,并在RoIAlign中通过双线性插值法保留了特征图的空间信息;最后改进Mask检测头,并增加特征融合机制以获得高质量的掩膜。在西瓜突变体生长情况的性状表型数据集上进行训练和检测,得到结果表明：改进后的Mask R-CNN表现出更优的检测性能,与传统Mask R-CNN相比,检测精度提高22%,掩膜准确率提高2.7%,检测时间减少42 ms,为提升农业精准化水平和推动智慧农业发展提供了技术支撑。     

基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究

传统的人工种苗表型测量方式存在效率低、主观性强、误差大、破坏种苗等问题，提出了一种使用RGB-D相机的黄瓜苗表型无损测量方法。研制了自动化多视角图像采集平台，布署两台Azure Kinect相机同时拍摄俯视和侧视两个视角的彩色、深度、红外和RGB-D对齐图像。使用Mask R-CNN网络分割近红外图像中的叶片和茎秆，再与对齐图进行掩膜，消除了对齐图中的背景噪声与重影并得到叶片和茎秆器官的对齐图像。网络实例分割结果的类别和数量即为子叶和真叶的数量。使用CycleGAN网络处理单个叶片的对齐图，对缺失部分进行修补并转换为3D点云，再对点云进行滤波实现保边去噪，最后对点云进行三角化测量叶面积。在Mask R-CNN分割得到的茎秆对齐图像中，利用茎秆的近似矩形特征，分别计算茎秆的长和宽，再结合深度信息转换为下胚轴长和茎粗。使用YOLO v5s检测对齐图中的黄瓜苗生长点，利用生长点与基质的高度差计算株高。实验结果表明，该系统具有很好的通量和精度，对子叶时期、1叶1心时期和2叶1心时期的黄瓜苗关键表型测量平均绝对误差均不高于8.59%、R²不低于0.83,可以很好地替代人工测...     

基于三维数字化的小麦植株表型参数提取方法

针对小麦植株分蘖多、器官间交叉遮挡严重，难以用图像或点云准确提取植株和器官表型的问题，本研究提出了基于三维数字化的小麦植株表型参数提取方法。首先提出了小麦植株各器官数字化表达方法，制定了适用于小麦全生育期的三维数字化数据获取规范，并依据该规范进行数据获取。根据三维数字化数据的空间位置语义信息和表型参数的定义，提出了小麦植株表型参数计算方法，实现了小麦植株和器官长度、粗度和角度等3类共11个常规可测表型参数的计算。进一步提出了定量描述小麦株型和叶形的表型指标。其中，植株围度通过基于最小二乘法拟合三维离散坐标计算，用于定量化描述小麦植株松散/紧凑程度；小麦叶片卷曲和扭曲程度为定量化叶形的指标，根据叶面向量方向变化计算得到。利用丰抗13号、西农979号和济麦44号三个品种小麦起身期、拔节期、抽穗期三个时期的人工测量值和提取值进行验证。结果表明，在保持植株原始三维形态结构的前提下，提取的茎长、叶长、茎粗、茎叶夹角与实测数据精度相对较高，R² 分别为0.93、0.98、0.93、0.85；叶宽和叶倾角与实测数据的R² 分别为0.75、0.73。本方法能便捷、精确地提取小麦植株和器官形态结构表型参数，为小麦表型相关研究提供了有效技术支撑。     

基于FPGA加速的Mask R-CNN稻瘟病高通量自适应识别模型研究

针对基于图像的稻瘟病现场检测技术依赖先验知识且受制于算力与田间网络状况,无法实现自适应实时检测的问题,提出一种可利用现场可编程门阵列(Field programmable gate array, FPGA)加速的Mask R-CNN(Mask region-based convolutional neural network)稻瘟病高通量自适应快速识别模型。首先将骨干网络改进为MobileNetV2,利用其倒残差模块降低计算量,提高模型并行处理能力;随后增加用于稻瘟病多尺度特征融合的特征金字塔网络模块,使模型具备多尺度自适应处理能力;最后由全卷积网络(Fully convolutional network,FCN)分支输出稻瘟病病斑的实例分割,同时使用交叉熵损失函数完成稻瘟病的定位与分类。稻瘟病实测数据集对模型的验证结果表明：当输入为全高清图像时,模型平均推理时间减少至85ms,相较GPU服务器、同级别GPU边缘计算平台,速度分别提高86.2%、63.0%。在交并比为0.6时,准确率可达98.0%,病斑捕获能力平均提升21.2%。提出的Mask R-CNN自适应快速识别模型能够在田间恶劣网络状况下实现稻瘟病的快速现场检测,具有更好的抗噪能力和鲁棒性能,为水稻病害实时检测、察打一体提供了高效实时的片上系统方案。     

基于深度残差学习的成熟草莓识别方法

为解决自然状态下成熟草莓存在的背景干扰、信息丢失等问题,提出一种基于深度残差学习的草莓识别方法。首先,引入深度可分离卷积降低残差网络参数,从不同角度提取成熟草莓特征,通过交叉熵损失函数来识别分类层中的草莓。其次,嵌入压缩和激励模块学习特征权重,使用特征重新校准改善网络的学习和表征属性。最后,采用添加空间金字塔池化、加权衰减优化方法提高模型的泛化能力,优化识别结果。试验结果表明,和现有其他深度模型相比,该方法能够有效地定位复杂背景下的成熟草莓,不易受到干扰环境的影响,具有更高的识别准确率和灵敏度,在数据集C中的识别准确率和灵敏度最高,分别达到92.46%和94.28%。     

基于改进YOLOv8的小麦叶片病虫害检测轻量化模型

[目的/意义]针对小麦叶片病虫害在自然环境下形态和颜色特征较为复杂、区分度较低等特点,提出一种高质量高效的病虫害检测模型,即YOLOv8-SS (You Only Look Once Version 8-SS),为病虫害的预防与科学化治理提供准确的依据。[方法]基于YOLOv8算法,采用改进的轻量级卷积神经网络ShuffleNet V2作为主干网络提取图像特征即YOLOv8-S,在保持检测精度的同时,减少模型的参数数量和计算负载;在此基础上增加小目标检测层和注意力机制SEnet (Squeeze and Excitation Network),对YOLOv8-S进行改进,在不降低检测速度和不损失模型轻量化程度的情况下提高检测精度,提出YOLOv8-SS小麦叶片病虫害检测模型。[结果与讨论]YOLOv8-SS模型在实验数据集上的平均识别精度和检测准确率分别达89.41%和91.00%,对比原模型分别提高10.11%和7.42%。因此,本研究所提出的方法可显著提高农作物病虫害的检测鲁棒性,并增强模型对小目标图像特征的提取能力,从而高效准确地进行病虫害的检测和识别。[结论]本研究使用的方法具...     

基于CycleGAN-IA方法和M-ConvNext网络的苹果叶片病害图像识别

针对苹果叶片病害图像识别存在数据集获取困难、样本不足、识别准确率低等问题,提出基于多尺度特征提取的病害识别网络(Multi-scale feature extraction ConvNext, M-ConvNext)模型。采用一种结合改进的循环一致性生成对抗网络与仿射变换的数据增强方法(Improved CycleGAN and affine transformation, CycleGAN-IA),首先,使用较小感受野的卷积核和残差注意力模块优化CycleGAN网络结构,使用二值交叉熵损失函数代替CycleGAN网络的均方差损失函数,以此生成高质量样本图像,提高样本特征复杂度;然后,对生成图像进行仿射变换,提高数据样本的空间复杂度,该方法解决了数据样本不足的问题,用于辅助后续的病害识别模型。其次,构建M-ConvNext网络,该网络设计G-RFB模块获取并融合各个尺度的特征信息,GELU激活函数增强网络的特征表达能力,提高苹果叶片病害图像识别准确率。最后,实验结果表明,CycleGAN-IA数据增强方法可以对数据集起到良好的扩充作用,在常用网络上验证,增强后的数据集可以有效提高苹果叶片病害图像识别准确率;通过消融实验可得,M-ConvNex识别准确率可达9918%,较原ConvNext网络准确率提高0.41个百分点,较ResNet50、MobileNetV3和EfficientNetV2网络分别提高3.78、7.35、4.07个百分点,为后续农作物病害识别提供了新思路。     

利用多时序激光点云数据提取棉花表型参数方法

当前,能够实现作物表型参数高效、准确的测量和作物生育期表型参数的动态量化研究是表型研究和育种中亟待解决的问题之一。本研究以棉花为研究对象,采用三维激光扫描LiDAR技术获取棉花植株的多时序点云数据,针对棉花植株主干的几何特性,利用随机抽样一致算法（RANSAC）结合直线模型完成主干提取,并对剩余的点云进行区域增长聚类,实现各叶片的分割;在此基础上,完成植株体积、株高、叶长、叶宽等性状参数的估计。针对多时序棉花激光点云数据,采用匈牙利算法完成相邻时序作物点云数据的对齐、叶片器官对应关系的建立。同时,对各植株表型参数动态变化过程进行了量化。本研究针对3株棉花的4个生长点的点云数据,分别完成了主干提取、叶片分割,以及表型参数测量和动态量化。试验结果表明,本研究所采用的主干提取及叶片分割方法能够实现棉花的枝干和叶片分割。提取的株高、叶长、叶宽等表型参数与人工测量值的决定系数均趋近于1.0;同时,本研究实现了棉花表型参数的动态量化过程,为三维表型技术的实现提供了一种有效的方法。     

基于多源数据的马铃薯植株表型参数提取

作物具有结构多样、生长环境复杂等特征。RGB图像数据能真实地反映植株的纹理特征与颜色特征,三维点云数据包含了作物的体量信息。将RGB图像和三维点云数据结合,实现作物的二维和三维表型参数提取,对表型组学的方法研究具有重要意义。本研究以马铃薯为研究对象,使用RGB相机和激光扫描仪分别采集了50个马铃薯的RGB图像与三维激光点云数据。对比了OCRNet,UpNet,PaNet和DeepLab v3+四种深度学习语义分割方法的分割精度,并选择精度较高的OCRNet网络实现马铃薯顶视图像的语义分割。优化了Mean shift聚类算法流程,完成了马铃薯植株激光点云的单株分割,并结合欧式聚类和K-Means聚类算法对单株马铃薯植株点云的茎和叶进行准确地分割。同时,提出一种利用编号建立马铃薯单株RGB图像和激光点云间一一对应关系的策略,并以此为基础分别从RGB图像与激光点云中提取同一马铃薯植株包括最大宽度、周长、面积、株高、体积、叶长与叶宽在内的8个二维表型参数与10个三维表型参数。最后,选择了比较具有代表性、易测量的叶片数、株高、最大宽度三个表型参数进行精度评估,平均绝对百分比误差（Mean Abs...     

基于改进YOLO v5s的作物黄化曲叶病检测方法

作物病害的初期快速准确识别是减小作物经济损失的重要保障。针对实际生产环境中,作物叶片黄化曲叶病毒病(Yellow leaf curl virus,YLCV)患病初期无法应用传统图像处理算法通过颜色或纹理特征进行准确和快速识别,并且YOLO v5s通用模型在复杂环境下识别效果差和效率低的问题,本文提出一种集成改进的叶片病害检测识别方法。该方法通过对Plant Village公开数据集中单一患病叶片图像以及实际生产中手机拍摄获取的患病作物冠层图像两种来源制作数据集,并对图像中的患病叶片进行手动标注等操作,以实现在复杂地物背景和叶片遮挡等情况下正确识别目标,即在健康叶片、患病叶片、枯萎叶片、杂草和土壤中准确识别出所有的患病叶片。此外,用智能手机在生产现场拍摄图像,会存在手机分辨率、光线、拍摄角度等多种因素,会导致识别正确率降低等问题,需要对采集到的图像进行预处理和数据增强以提高模型识别率,通过对YOLO v5s原始模型骨干网络重复多次增加CA注意力机制模块（Coordinate attention）,增强YOLO算法对关键信息的提取能力,利用加权双向特征金字塔网络（Bidirectional feature pyramid network,BiFPN）,增强模型不同特征层的融合能力,从而提高模型的泛化能力,替换损失函数EIoU（Efficient IoU loss）,进一步优化算法模型,实现多方法叠加优化后系统对目标识别性能的综合提升。在相同试验条件下,对比YOLO v5原模型、YOLO v8、Faster R-CNN、SSD等模型,本方法的精确率P、召回率R、平均识别准确率mAP0.5、mAP0.5:0.95分别达到97.40%、94.20%、97.20%、79.10%,本文所提出的算法在提高了精确率与平均精度的同时,保持了较高的运算速度,满足对作物黄化曲叶病毒病检测的准确性与时效性的要求,并为移动端智能识别作物叶片病害提供了理论基础。     

基于光学相机的植物表型测量系统与时序生长模型研究

为提高形态表型检测速率,满足形态表型测量的标准化需求,以拟南芥为例,提出一种测量植物三维形态特征的方法,并建立植物时序生长方程和可视化模型,构建了一套经济实用、面向拟南芥生长过程的形态表型测量机器视觉系统。通过光学相机采集拟南芥植株的二维图像序列,利用运动中恢复结构算法生成三维点云;设计一种彩色标板,基于彩色标板的坐标系标准化方法,提取拟南芥植株的点云并标准化坐标系。与传统人工接触式测量值相比,该系统交互测量的拟南芥叶片宽度、长度、主茎长度、叶片面积、叶片间夹角的平均相对误差分别为9. 83%、10. 10%、1. 07%、4. 09%和4. 37%。利用该系统采集哥伦比亚野生型拟南芥生命周期内的形态表型信息,拟合其数学生长模型,并使用L-studio软件,将时序生长模型可视化表达。结果表明,植物固定、传感器移动的平台结构解决了传统传感器固定、植物移动方式导致的植物抖动从而影响三维重建效果的问题,可快速、准确、可靠地提取植物表型信息。基于彩色标板的点云坐标系标准化方法在每个单位时间都能够对拟南芥植物对象进行参数提取,与传统的人工接触式测量方法相比,效率高、速度快,可满足拟南芥的形态表型分析需要。     

基于改进SSD网络的西兰花叶片检测研究

实现对复杂环境下西兰花叶片的高精度检测,对西兰花病虫害的监测和防治具有重要意义。在田间复杂环境下叶片存在重叠或遮挡,增加了数据的获取成本,制约深度学习网络结构在田间复杂环境叶片检测上的应用。为此,提出基于改进SSD网络的西兰花叶片检测方法。通过特征辅助学习法更改训练集的组成,使SSD网络学习到较为完整的叶片边缘特征和叶片遮挡特征,采用数据增强和修改激活函数的方式构建模型。测试结果,单独叶片和植株叶片平均准确率为99.8%和89.9%,平均IOU为91.0%和84.2%,总体平均IOU和平均准确率分别为87.6%、94.9%。结果表明,使用小数据集进行西兰花叶片目标检测研究是可行的,可为农作物叶片检测研究提供参考。     

植物表型平台与图像分析技术研究进展与展望

近年来,植物基因组得到迅猛发展,但因缺乏足够的表型数据而限制了人类解析数量性状遗传学的能力。通过开发植物表型信息采集平台和进行图像分析可以加以解决。高通量、自动化、高分辨率的植物表型信息采集平台与分析技术对于加快植物改良和育种、提高产量和抗病虫害能力至关重要。将植物表型平台信息采集平台与分析技术用于解析基因组信息,定量研究与生长、产量和适应生物或非生物胁迫相关的复杂性状,是建立植物生长模型和采集农作物高维、丰富表型数据集的重要途径,能够满足填补基因组信息与植物表型可塑性之间空白的需要。阐述了基于光学成像的植物表型信息采集平台与图像分析技术的研究进展,从室内、田间不同的使用环境出发,根据不同搭载方式,总结分析了各表型平台的功能和特点。最后,分析了目前植物表型信息采集平台与分析技术存在的瓶颈问题,提出了以下建议与展望:开发植物表型信息采集平台的多传感器集成系统;将植物生长环境监测模块融入植物表型信息采集平台中;开发针对林木的表型信息采集平台;对传感器获取的表型数据进行更好的集成与挖掘;采用无损原位根系信息采集技术得到植物地下部分的表型数据;构建表型数据统一开放的标准,进行学科交叉的深度合作。     

基于改进YOLOv5的玉米叶枯萎检测

叶片枯萎是玉米生长过程中最常见的症状之一,利用视觉传感与模式识别技术实现玉米叶枯萎的自动检测可极大提高玉米的产量和生产效率,是智慧农业发展的重要方向。针对玉米叶遮挡场景下的枯萎检测问题,通过YOLOv5单阶段目标检测框架对叶片进行建模,并结合通道和空间注意力机制对模型架构进行改进,增强其骨干网络的特征提取能力,提高小目标玉米叶枯萎的检测精度。试验结果表明,提出的方法在Stewart＿NLBimages＿2019数据集上检测性能优于YOLOv5,检测平均精度均值达到86.84%,具有广阔的应用前景。     

基于卷积神经网络的草莓识别方法

针对目前草莓识别定位大多在简单环境下进行、识别效率较低的问题,提出利用改进的YOLOv3识别方法在复杂环境中对草莓进行连续识别检测。通过训练大量的草莓图像数据集,得到最优权值模型,其测试集的精度均值(MAP)达到87. 51%;成熟草莓的识别准确率为97. 14%,召回率为94. 46%;未成熟草莓的识别准确率为96. 51%,召回率为93. 61%。在模型测试阶段,针对夜晚环境下草莓图像模糊的问题,采用伽马变换得到的增强图像较原图识别正确率有显著提升。以调和平均值(F)作为综合评价指标,对比多种识别方法在不同果实数量、不同时间段及视频测试下的实际检测结果,结果表明,YOLOv3算法F值最高,每帧图像的平均检测时间为34. 99 ms,视频的平均检测速率为58. 1 f/s,模型的识别正确率及速率均优于其他算法,满足实时性要求。同时,该方法在果实遮挡、重叠、密集等复杂环境下具有良好的鲁棒性。     

基于迁移学习和双线性CNN的细粒度菌菇表型识别

为了对细粒度菌菇进行表型识别,在双线性卷积神经网络细粒度图像识别框架基础上,提出了一种基于迁移学习和双线性Inception-ResNet-v2网络的菌菇识别方法。利用Inception-ResNet-v2网络的特征提取能力,结合双线性汇合操作,提取菌菇图像数据的细粒度特征,采用迁移学习将ImageNet数据集上预训练的模型参数迁移到细粒度菌类表型数据集上。试验表明,在开源数据集和个人数据集上,识别精度分别达到87.15%和93.94%。开发了基于Flask框架的在线菌类表型识别系统,实现了细粒度菌菇表型的在线识别与分析。     

基于迁移学习的卷积神经网络植物叶片图像识别方法

为了提高植物叶片图像的识别准确率,考虑到植物叶片数据库属于小样本数据库,提出了一种基于迁移学习的卷积神经网络植物叶片图像识别方法。首先对植物叶片图像进行预处理,通过对原图的随机水平、垂直翻转、随机缩放操作,扩充植物叶片图像数据集,对扩充后的叶片图像数据集样本进行去均值操作,并以4∶1的比例划分为训练集和测试集;然后将训练好的模型（AlexNet、InceptionV3）在植物叶片图像数据集上进行迁移训练,保留预训练模型所有卷积层的参数,只替换最后一层全连接层,使其能够适应植物叶片图像的识别;最后将本文方法与支持向量机(SVM)方法、深度信念网络(DBN)方法、卷积神经网络(CNN)方法在ICL数据库进行对比实验。实验使用Tensorflow训练网络模型,实验结果由TensorBoard可视化得到的数据绘制而成。结果表明,利用AlexNet、InceptionV3预训练模型得到的测试集准确率分别为95.31%、95.40%,有效提高了识别准确率。     

基于RSTCNN的小麦叶片病害严重度估计

以小麦叶片条锈病和白粉病为研究对象,针对同类型病害的不同严重度之间的图像颜色及纹理特征差异较小,传统方法病害严重度估计准确率不高的问题,提出一种基于循环空间变换的卷积神经网络(Recurrent spatial transformer convolutional neural network,RSTCNN)对小麦叶片病害进行严重度估计。RSTCNN包含3个尺度网络,并由区域检测子网络进行连接。每个尺度网络以VGG19作为基础网络以提取病害的特征,同时为了统一区域检测过程中前后特征图的维度,在全连接层前引入空间金字塔池化(Spatial pyramid pooling,SPP);区域检测子网络则采用空间变换（Spatial transformer,ST）有效提取尺度网络特征图中病害的注意力区域。小麦叶片病害图像通过每个尺度网络中卷积池化层得到的特征图,一方面可作为预测病害严重度类别概率的依据,另一方面通过ST进行注意力区域检测并将检测到的区域作为下一个尺度网络的输入,通过交替促进的方式对注意力区域检测和局部细粒度特征表达进行联合优化和递归学习,最后对不同尺度网络的输出特征进行融合再并入到全连接层和Softmax层进行分类,从而实现小麦叶片病害严重度的估计。本文对采集的患有条锈病和白粉病的小麦叶片图像结合数据增强方法构建病害数据集,实验验证了改进后的RSTCNN在3层尺度融合的网络对病害严重度估计准确率较佳,达到了95.8%。相较于基础分类网络模型,RSTCNN准确率提升了7~9个百分点,相较于传统的基于颜色和纹理特征的机器学习算法,RSTCNN准确率提升了9～20个百分点。结果表明,本文方法显著提高了小麦叶片病害严重度估计的准确率。