基于三维点云的番茄植株茎叶分割与表型特征提取

针对当前温室番茄表型参数难以自动获取的问题，研究提出通过对三维点云进行配准、骨架提取以及分割从而自动获取苗期番茄植株株高、茎粗、叶倾角和叶面积参数的方法。首先通过机器人搭载机械臂在温室中自动获取多视角番茄点云，并通过配准得到完整植株点云；对番茄点云利用拉普拉斯收缩的骨架提取算法获取植株骨架，对骨架进行修正后分解为茎秆和叶片子骨架，实现茎秆叶柄分割；再通过基于区域生长的MeanShift聚类方法对叶片和叶柄进行分割；最后通过番茄点云获取株高、茎粗参数，通过骨架测量叶倾角，对叶片点云进行曲面拟合提取叶面积参数。试验结果表明，茎叶分割与叶片分割的精确率、召回率、F1分数和平均总体准确率分别为0.84、0.91、0.87、0.92和0.92、091、0.91、0.93。株高、茎粗、叶倾角和叶面积参数的提取值与人工测量值的决定系数分别为0.97、0.53、0.90和0.87，均方根误差分别为1.40 cm、1.52 mm、5.14°和37.56 cm2。结果表明该研究方法与人工测量值具有较强的相关性，可以为温室番茄的高通量自动化表型测量提供技术支持。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。     

基于多视图几何的白菜薹分割与关键表型测量

植物表型调查是选育优良品种和基因功能研究的重要依据,为理解植物生长发育规律及环境的作用提供有力支持。针对传统叶菜类植物表型分析方法存在速度慢、误差大、维度限制等问题,该研究提出了一种基于高通量重建和茎叶自动分割的白菜薹关键表型参数提取方法。首先,基于多视图立体几何技术对白菜薹进行多视角RGB图像三维重建、尺度恢复、均匀简化、背景去除及点云去噪等预处理。之后,提出基于超体素的改进植物器官自动分割算法,将植株分为茎、叶片等不同语义类别。在此基础上,给出有效的表型参数计算方法,完成了株高、叶长、颜色等7个关键性状的无损、精确测量。试验结果表明,该研究实现了白菜薹关键表型自动分析,茎叶器官分割的精确率、召回率及F1分数的均值分别为0.961、0.940、0.943;株高、株幅、叶长、叶宽的均方根误差分别为0.261、0.313、0.174、0.100 cm,叶面积及叶片数的均方根误差分别为1.608 cm2和0.283,平均绝对百分比误差分别为1.659%、1.643%、1.417%、2.486%、8.258%、6.000%。与其他方法相比,该研究具有较低的综合误差,可适应叶片形状不规则的植物表型参数提取研究。同时,克服了当前植物冠层幼叶难以分割、表型性状提取效率低等困难,为精准农业领域叶菜表型高效分析提供有效的技术手段,可在进一步的基因型到表型研究中发挥重要作用。     

基于深度掩码的玉米植株图像分割模型

随着深度学习技术在植物表型检测领域的应用,有监督深度学习逐渐成为植物表型信息的提取与分析的主要方法。但由于植物结构复杂、细节特征多,人工标注的成本和质量问题已成为制约技术发展的瓶颈。该研究针对玉米苗期植株图像分割问题提出一种基于深度掩码的卷积神经网络（Depth Mask Convolutional Neural Network,DM-CNN）,将深度图像自动转换深度掩码图像,并替代人工标注样本完成图像分割网络训练。试验结果表明,在相同的网络训练参数下,通过测试DM-CNN得到的平均交并比为59.13%,平均召回率为65.78%,均优于人工标注样本对应的分割结果（平均交并比为58.49%,平均召回率为64.85%）;此外,在训练样本中加入10%室外玉米苗期图像后,DM-CNN对室外测试集的平均像素精度可以达到84.54%,证明DM-CNN具有良好的泛化能力。该研究可为高通量、高精度的玉米苗期表型信息获取提供低成本解决方案及技术支持。     

基于骨架的玉米植株三维点云果穗分割与表型参数提取

当前三维点云处理技术难以在玉米植株点云上对果穗进行识别和表型参数提取。针对该问题,该研究采用基于骨架的玉米植株器官分割流程对植株三维点云的果穗器官进行分割和表型参数提取。首先,优化基于骨架的玉米植株茎叶分割方法,在成熟期植株点云上实现植株骨架的提取、器官子骨架的分解以及器官点云的分割;再根据器官高度、子骨架长度、圆柱特征和点云数量4个约束条件从器官点云中识别出果穗点云;最后提取果穗相关的表型参数。试验结果表明,该研究方法对玉米果穗的识别率为91.3%;果穗点云分割的平均F1分数、精确度、召回率分别为0.73、0.82和0.70;穗位高、穗长、穗粗、株高穗位高比4个表型参数的提取值与人工实测值线性关系显著,决定系数分别为0.97、0.78、0.85和0.96,均方根误差分别为3.23、4.98、0.73 cm和0.07。该研究方法具备提取果穗器官点云和表型参数的能力,可为玉米高通量表型检测、玉米三维重建等研究和应用提供技术支持。     

基于红外热成像的夜间农田实时语义分割

农田环境实时语义分割是构成智能农机的视觉环境感知的重要环节,夜间农田语义分割可以使智能农机在夜间通过视觉感知农田环境进行全天候作业,而夜间无光环境下,可见光摄像头成像效果较差,将造成语义分割精度的下降。为保证夜间农田环境下红外图像语义分割的精度与实时性,该研究提出了一种适用于红外图像的红外实时双边语义分割网络（Infrared Real-time Bilateral Semantic Segmentation Network,IR-BiSeNet）,根据红外图像分辨率低,细节模糊的特点该网络在实时双边语义分割网络（Bilateral Semantic Segmentation Net,BiSeNet）结构基础上进行改进,在其空间路径上,进一步融合红外图像低层特征,在该网络构架中的注意力提升模块、特征融合模块上使用全局最大池化层替换全局平均池化层以保留红外图像纹理细节信息。为验证提出方法的有效性,通过在夜间使用红外热成像采集的农田数据集上进行试验,数据集分割目标包括田地、行人、植物、障碍物、背景。经试验验证,提出方法在夜间农田红外数据集上达到了85.1%的平均交并比（Mean Intersection over Union,MIoU）,同时达到40帧/s的处理速度,满足对夜间农田的实时语义分割。     

基于语义分割的非结构化田间道路场景识别

环境信息感知是智能农业装备系统自主导航作业的关键技术之一。农业田间道路复杂多变,快速准确地识别可通行区域,辨析障碍物类别,可为农业装备系统高效安全地进行路径规划和决策控制提供依据。该研究以非结构化农业田间道路场景为研究对象,根据环境对象动、静态属性进行类别划分,提出一种基于通道注意力结合多尺度特征融合的轻量化语义分割模型。首先采用Mobilenet V2轻量卷积神经网络提取图像特征,将混合扩张卷积融入特征提取网络最后2个阶段,在保证特征图分辨率的基础上增加感受野并保持信息的连续性与完整性;然后引入通道注意力模块对特征提取网络各阶段特征通道依据重要程度重新标定;最后通过空间金字塔池化模块将多尺度池化特征进行融合,获取更加有效的全局场景上下文信息,增强对复杂道路场景识别的准确性。语义分割试验表明,不同道路环境下本文模型可以对场景对象进行有效识别解析,像素准确率和平均像素准确率分别为94.85%、90.38%,具有准确率高、鲁棒性强的特点。基于相同测试集将本文模型与FCN-8S、SegNet、DeeplabV3+、BiseNet模型进行对比试验,本文模型的平均区域重合度为85.51%,检测速度达到8.19帧/s,参数数量为,相比于其他模型具有准确性高、推理速度快、参数量小等优点,能够较好地实现精度与速度的均衡。研究成果可为智能农业装备在非结构化道路环境下安全可靠运行提供技术参考。     

基于DBSE-Net的大田稻穗图像分割

稻穗精准分割是准确估测水稻产量的关键。为实现大田环境下不同品种与生育期稻穗的准确分割,该研究提出了基于注意力机制的稻穗分割网络（Double Branch Squeeze-and-Excitation Network,DBSE-Net）。首先,提出一个双分支压缩与激励（Double Branch Squeeze-and-Excitation,DBSE）注意力模块,通过同时使用全局平均池化（Global Average Pooling,GAP）和全局最大池化（Global Max Pooling,GMP）编码输入特征的通道信息,以实现更精准的通道注意力推断。然后,为了强化稻穗特征并抑制背景区域特征,将DBSE模块添加到编码-解码分割框架中构建DBSE-Net分割网络。最后,在自采集的稻穗图像数据集上进行分割性能测试,DBSE-Net对稻穗分割的像素准确率、平均交并比和F1分数分别达到了94.32%、87.59%和91.86%,比次优模型DeeplabV3+的结果分别高出1.61、2.56和1.20个百分点,在单张256×256（像素）图像上耗时0.03 s,是DeeplabV3+分割速度的5.3倍。在公开的稻穗图像数据集上进行泛化性能测试,DBSE-Net能够有效分割出稻穗区域。该研究结果表明,DBSE-Net能够对不同品种与生育期稻穗实现高效精准分割,具有良好的泛化性,可以为水稻产量评估提供参考。     

复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割,该研究提出了一种基于SOLO的绿色果实优化分割算法。首先,利用分离注意力网络（ResNeSt）设计SOLO算法的主干网络,用于提取绿色果实特征;其次,为更好地应对绿色果实特征的多尺度问题,引入特征金字塔网络（Feature Pyramid Networks,FPN）,构造ResNeSt+FPN组合结构;最后,将SOLO算法分为类别预测和掩码生成2个分支,类别预测分支在预测语义类别的同时,掩码生成分支实现了对绿色果实的实例分割。试验结果表明,优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%,平均每张绿色果实图像在图形处理器（Graphics Processing Unit,GPU）上的分割时间为0.14 s。通过对比试验可知,优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法（Optimized Mask Region Convolutional Neural Network,Optimized Mask R-CNN）、SOLO算法、掩膜区域卷积神经网络算法（Mask Region Convolutional Neural Network,Mask R-CNN）和全卷积实例感知语义分割算法（Fully Convolutional Instance-aware Semantic Segmentation,FCIS）提高了1.63、1.74、2.23和6.52个百分点,精确率分别提高了1.10、1.47、2.61和6.75个百分点,分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴,扩展果园测产和机器采摘的应用范围。     

基于RGB-D的肉牛图像全卷积网络语义分割优化

基于卷积神经网络的深度学习模型已越来越多的应用于检测肉牛行为。利用卷积操作实现肉牛图像的像素级分割有助于实现远距离、无接触、自动化的检测肉牛行为,为肉牛异常行为早期发现提供必要手段。为了提高复杂背景下肉牛图像语义分割精度,降低上采样过程中的语义分割误差,该文提出基于RGB-D的肉牛图像全卷积网络(fully convolutionalnetworks,FCN)的语义分割优化方法,用深度密度值来量化深度图像中不同像素点是否属于相同类型的概率,并根据深度图像与彩色图像在内容上的互补关系,优化和提升FCN对肉牛图像的语义分割(像素密集预测)精度。通过试验验证,该方法与全卷积网络的最优分割结果相比,可以将统计像素准确率平均提高2.5%,类别平均准确率平均提升2.3%,平均区域重合度平均提升3.4%,频率加权区域重合度平均提升2.7%。试验证明,该方法可以提升全卷积网络模型在复杂背景下肉牛图像语义分割精度。     

基于多尺度几何感知Transformer的植物点云补全网络

对植物幼苗进行三维重建,常存在叶片间的遮挡、摄像头视野限制等因素导致植物幼苗点云出现缺失的情况,影响了植物表型分析的准确度.为了能获得完整的植物点云,提出了基于多尺度几何感知Transformer(Multi-Scale Geometry-Aware Point Transformer,MGA-PT)的植物点云补全网络...     

改进Mask R-CNN的真实环境下鱼体语义分割

鱼体语义分割是实现鱼体三维建模和语义点云、计算鱼体生长信息的基础。为了提高复杂环境下鱼体语义分割精度,该研究提出了SA-Mask R-CNN模型,即融合SimAM注意力机制的Mask R-CNN。在残差网络的每一层引入注意力机制,利用能量函数为每一个神经元分配三维权重,以加强对鱼体关键特征的提取;使用二次迁移学习方法对模型进行训练,即首先利用COCO数据集预训练模型在Open Images DatasetV6鱼类图像数据集完成第一次迁移学习,然后在自建数据集上完成第二次迁移学习,利用具有相似特征空间的2个数据集进行迁移学习,在一定程度上缓解了图像质量不佳的情况下鱼体语义分割精度不高的问题。在具有真实养殖环境特点的自建数据集上进行性能测试,结果表明,SA-Mask R-CNN网络结合二次迁移学习方法的交并比达93.82%,综合评价指标达96.04%,分割效果优于SegNet和U-Net++,较引入SENet和CBAM注意力模块的Mask R-CNN交并比分别提升了1.79个百分点和0.33个百分点,综合评价指标分别提升了2.03个百分点和0.38个百分点,模型参数量分别减小了4.7和5MB。研究结果可为鱼体点云计算提供参考。     

改进YOLOv5su模型检测桃树缩叶病

为实现自然环境下桃树缩叶病的检测,该研究提出了一种基于YOLOv5su的桃树缩叶病识别改进模型DLL-YOLOv5su。首先,针对桃树缩叶病目标特征变化较大的问题,在骨干网络最后一层C3模块中加入可变形自注意力模块（deformable attention,DA）,使模型更加关注目标区域,降低背景对模型的影响,提高模型在复杂背景下的拟合能力。其次在SPPF（fast spatial pyramid pooling）模块中引入LSKA（large separable kernel attention）结构,大核卷积增大了模型的感受野,使模型能够关注更多信息。最后,提出了LAWD（lightweight adaptive weighted downsampling）模块,使用轻量化的下采样结构替换卷积模块,减少计算开销。在桃树缩叶病数据集上进行试验,结果显示,DLL-YOLOv5su模型权重大小为17.6MB,检测速度为83帧/s。识别准确率P、召回率R和平均精度均值mAP₅₀分别达到了80.7%、73.1%和80.4%,相较于原始YOLOv5su分别提高了4.2、2.4和4.3个百分点。与YOLOv3-tiny、Faster R-CNN、YOLOv7和YOLOv8相比mAP₅₀分别高出了28.5、11.8、2.1和4.1个百分点。改进模型识别精度高,误检、漏检率低,检测速度满足实时检测的要求,可以为桃树缩叶病的实时监测和预警提供参考。     

基于骨架和最优传输距离的玉米点云茎叶分割和表型提取

针对当前三维点云分割方法难以精确分割玉米植株顶部新叶的问题,该研究提出一种基于点云骨架和最优传输距离的玉米点云茎叶分割方法.首先利用拉普拉斯骨架提取算法获得植株骨架;其次根据玉米形态结构特征将植株骨架分解成器官子骨架,并实现器官粗分割;再以最优传输距离作为点云距离度量,采用从上到下的顺序对未分割点云进行精细分割;最后自...     

基于分组注意力模块的实时农作物病害叶片语义分割模型

针对传统农作物病害识别方法准确率低、鲁棒性差等问题,该研究首先提出一种基于分组激活策略的分组注意力模块,利用高阶特征指导加强低阶特征,通过分组计算组内加强系数,减少不同组之间的抑制作用,加强特征表达能力.对比试验表明,分组注意力模块特征强化效果优于传统注意力模块.基于分组注意力模块,该研究提出一种实时高效农作物病害叶片...     

基于通道特征金字塔的田间葡萄实时语义分割方法

复杂环境下葡萄的快速检测识别是智能采摘的关键步骤,为解决目前葡萄识别精度低和实时性差的问题,该研究提出一种轻量级葡萄实时语义分割模型（Grape Real-time Semantic Segmentation Model,GRSM）。首先,利用通道特征金字塔（Channel-wise Feature Pyramid,CFP）模块进行特征提取,该模块通过1?3和3?1空洞卷积的跳跃连接,在减少模型参数量的同时提取葡萄图像的多尺度特征和上下文信息;然后,采用池化卷积融合结构完成下采样,增加可训练参数以减少信息损失;最后,利用跳跃连接融合多种特征恢复图像细节。试验结果表明：该研究所提出的模型在田间葡萄测试集上达到了78.8%的平均交并比,平均像素准确率为90.3%,处理速度达到68.56帧/s,网络结构大小仅为4.88MB。该模型具有较高分割识别精度和较好实时性,能满足葡萄采摘机器人对视觉识别系统的要求,为葡萄的智能化采摘提供了理论基础。