融合坐标注意力机制的轻量级玉米花丝检测

玉米花丝性状是玉米生长状态的重要表征,也是决定玉米果穗生长进而影响玉米产量的重要因素。为了提升无人巡检机器人视觉系统对玉米花丝的检测精度和速度,该研究提出一种融合坐标注意力机制的轻量级目标检测网络YOLOX-CA。将坐标注意力机制（coordinate attention,CA）模块嵌入到YOLOX-s主干特征网络（Backbone）部分,以加强对关键特征的提取,提升检测精度;在颈部特征加强网络（Neck）部分,将特征金字塔结构中的普通卷积,更改为深度可分离卷积,在降低网络参数量的同时保证精度不丢失;在预测头（Head）部分引入GIoU(generalized intersection over union)改进定位损失函数计算,得到更为精准的预测结果。基于自建玉米花丝数据集训练和测试网络,试验结果表明,YOLOX-CA网络平均检测精确度达到97.69%,参数量低至8.35 M。在同一试验平台下,相较于YOLOX-s、YOLOv3、YOLOv4等目前主流的目标检测网络,平均检测精确度分别提升了2.21、3.22和0.64个百分点;相较于YOLOv3、YOLOv4,每帧推理时间分别缩短4...     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。     

基于多目标识别的葡萄果串采摘点定位方法

为减少采摘点定位不当导致末端碰撞损伤结果枝与果串，致使采摘失败及损伤率提高等问题，该研究提出了基于深度学习与葡萄关键结构多目标识别的采摘点定位方法。首先，通过改进YOLACT++模型对结果枝、果梗、果串等葡萄关键结构进行识别与分割；结合关键区域间的相交情况、相对位置，构建同串葡萄关键结构从属判断与合并方法。最后设计了基于结构约束与范围再选的果梗低碰撞感兴趣区域(region of interest, ROI)选择方法，并以该区域果梗质心为采摘点。试验结果表明，相比于原始的YOLACT++，G-YOLACT++边界框和掩膜平均精度均值分别提升了0.83与0.88个百分点；对单串果实、多串果实样本关键结构从属判断与合并的正确率分别为88%、90%，对关键结构不完整的果串剔除正确率为92.3%；相较于以ROI中果梗外接矩形的中心、以模型识别果梗的质心作为采摘点的定位方法，该研究采摘点定位方法的成功率分别提升了10.95、81.75个百分点。该研究为葡萄采摘机器人的优化提供了技术支持，为非结构化环境中的串类果实采摘机器人的低损收获奠定基础。     

基于改进Mask R-CNN的番茄侧枝修剪点识别方法

为解决番茄枝叶修剪机器人无法准确识别番茄侧枝修剪点的问题,提出基于改进Mask R-CNN模型的番茄侧枝修剪点的识别方法。将Mask R-CNN的主干网络ResNet50替换为MobileNetv3-Large来降低模型复杂度和提升运行速度,并对部分特征图添加ECA(Efficient Channel Attention)注意力机制,以提升模型精度;通过改进的Mask R-CNN模型预测番茄侧枝与主枝的分割掩膜和边框位置;针对部分单根枝条被分割成多段掩膜的问题,通过掩膜边界框宽高比区分侧枝和主枝,分析同一枝条相邻掩膜约束条件,然后将符合约束条件的掩膜进行合并连接;根据修剪点在主枝附近的特点确定修剪点所在端,然后确定靠近修剪端端点的中心点作为侧枝的修剪点。试验结果表明,改进的Mask R-CNN模型平均分割图片时间为0.319s,召回率和精确率分别为91.2%和88.6%,掩膜平均合并成功率为86.2%,修剪点识别平均准确率为82.9%。该研究为番茄枝叶修剪机器人的研发提供参考。     

基于改进Mask R-CNN的黄瓜叶面积测量模型

植物叶面积可以反映出植物的生长速率、养分吸收以及光合作用能力，针对锯齿状边缘的黄瓜叶片分割精度较低，叶面积测量误差较大等问题。该研究提出一种深度卷积网络模型Marm，在Mask R-CNN的基础上利用Sobel算子进行边缘检测，使模型生成的掩膜更接近叶片的边缘。另外，引入边缘损失以提升叶片边缘的分割精度。借助参照物标签，利用模型输出的掩膜图像进行面积计算，获得黄瓜叶片在不同生长周期的叶面积。试验结果表明，Marm模型精确率、召回率和交并比达到99.1%、94.87%和92.18%，比原始的Mask R-CNN分别提高1.28个百分点、1.13个百分点和1.05个百分点，面积误差率下降1.43个百分点。当图像中存在叶片遮挡和阴影等多种影响，黄瓜叶片的面积误差率仍然能保持在5.45%左右。该研究有效解决了锯齿状边缘的叶片分割问题，将为植物表型研究提供技术支撑。     

基于RGB-D相机的脐橙实时识别定位与分级方法

为实现脐橙采摘机器人对脐橙果实进行实时识别、定位和分级采摘的需求,该研究提出了一种基于RGB-D相机数据的脐橙果实实时识别、定位及分级的OrangePointSeg算法。首先利用微软最新消费级深度相机（Azure Kinect DK）采集脐橙果实的RGB-D数据,建立脐橙果实实例分割数据集及增强数据集。然后通过改进YOLACT算法对脐橙果实进行实时分割并生成实例掩膜,与配准后的深度图裁剪得到果实深度点云,再利用最小二乘法进行脐橙果实外形拟合,得到其相机坐标系下质心坐标及半径。试验结果表明,在果实识别阶段,改进YOLACT算法在该数据集上的检测速度为44.63帧/s,平均精度为31.15%。在果实定位阶段,1 400～2 000点云数量时的拟合时间为1.99 ms,定位误差为0.49 cm,拟合出的半径均方根误差为0.43 cm,体积均方根误差为52.6 mL,在大于800点云数量和距离1 m以内时,定位误差均控制在0.46 cm以内。最后通过引入并行化计算,OrangePointSeg的总体处理速度为29.4帧/s,能够较好地实现精度与速度的平衡,利于实际应用和工程部署。该研究成果可推广至其他类似形态学特征的果实识别中,为果园的智能化管理提供行之有效的技术支撑。     

基于机器视觉的玉米果穗产量组分性状测量方法

玉米果穗的穗长、穗粗、穗行数、行粒数等性状是制约玉米产量的重要组分性状,目前主要采用人工测量方式,或通过截取果穗横断面图像自动计算穗行数等参数,操作复杂、测量效率低、主观误差大,且无法保留完整的原始考种材料。针对上述问题,该文基于机器视觉技术,通过可见光二维成像获取果穗三维表型性状参数,结合果穗颜色特征及果穗的生物学规律,分别建立投影修正模型、穗行数快速估算模型、行粒数计算模型等,精确计算穗长、穗粗、穗行数以及行粒数等性状参数。试验结果表明,该方法适用于粘连果穗处理,秃尖的识别率高,且对光照环境要求低,穗行数及行粒数的零误差率在93%以上,测量速度可达30穗/min以上,能够满足高通量考种的需求,特别是保留了原始果穗考种材料实现无损测量,对于实现高通量考种及精细化育种有重要的参考价值。     

基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络（Shifted Window Transformer,Swin Transformer）的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入Swin Transformer主干并采用统一感知解析网络作为其高效语义分割框架;改进Swin Transformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51′10-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。     

基于骨架的玉米植株三维点云果穗分割与表型参数提取

当前三维点云处理技术难以在玉米植株点云上对果穗进行识别和表型参数提取。针对该问题,该研究采用基于骨架的玉米植株器官分割流程对植株三维点云的果穗器官进行分割和表型参数提取。首先,优化基于骨架的玉米植株茎叶分割方法,在成熟期植株点云上实现植株骨架的提取、器官子骨架的分解以及器官点云的分割;再根据器官高度、子骨架长度、圆柱特征和点云数量4个约束条件从器官点云中识别出果穗点云;最后提取果穗相关的表型参数。试验结果表明,该研究方法对玉米果穗的识别率为91.3%;果穗点云分割的平均F1分数、精确度、召回率分别为0.73、0.82和0.70;穗位高、穗长、穗粗、株高穗位高比4个表型参数的提取值与人工实测值线性关系显著,决定系数分别为0.97、0.78、0.85和0.96,均方根误差分别为3.23、4.98、0.73 cm和0.07。该研究方法具备提取果穗器官点云和表型参数的能力,可为玉米高通量表型检测、玉米三维重建等研究和应用提供技术支持。     

基于穗粒分布图的玉米果穗表型性状参数计算方法

玉米果穗表型性状是玉米育种、产量预测的重要参数,提出一种基于穗粒分布图的玉米果穗性状计算方法,全面解析玉米果穗和穗粒的几何、数量和颜色等表型性状。该文利用步进电机驱动果穗转动来获取果穗主要侧面图像,采用果穗畸变校正方法生成标准果穗图像序列,在像素尺度进行果穗轮廓分析,建立图像序列中果穗轮廓映射关系并生成果穗三维模型,在穗粒尺度拼接果穗整个表面的穗粒分布图,计算出果穗和穗粒的各项表型性状。试验结果表明,提出的表型性状计算方法对穗型及穗粒分布规则的玉米果穗具有较高检测精度,其中穗行数、行粒数、总粒数、果穗长和果穗粗的平均计算精度分别为98.231%、94.351%、96.921%、98.956%和98.165%。     

采用改进Mask R-CNN算法定位鲜食葡萄疏花夹持点

为实现鲜食葡萄疏花机械化与自动化,该研究提出了一种鲜食葡萄疏花夹持点定位方法。首先基于ResNeXt骨干网络并融合路径增强,改进Mask R-CNN模型,解决鲜食葡萄花穗、果梗目标较小难以检测的问题;进而针对花穗、果梗生长姿态的复杂性与不确定性,提出一种集合逻辑算法,该算法采用IoU函数剔除重复检测的花穗与果梗,建立花穗、果梗对,并对果梗掩模进行形态学开运算,利用集合关系获取主果梗掩模,确定以主果梗质心附近的中心点为果梗的夹持点。最后,随机选取测试集中的图像进行试验。试验结果表明：果梗夹持点平均定位准确率为83.3%,平均定位时间为0.325 s,夹持点x、y方向定位误差及定位总误差最大值分别为10、12和16像素,能够满足鲜食葡萄疏花的定位精度与速度要求,可为实现鲜食葡萄疏花机械化与自动化提供理论支撑。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。     

基于自生成标签的玉米苗期图像实例分割

在植物图像实例分割任务中，由于植物种类与形态的多样性，采用全监督学习时人们很难获得足量、有效且低成本的训练样本。为解决这一问题，该研究提出一种基于自生成标签的玉米苗期图像实例分割网络（automatic labelling based instance segmentation network，AutoLNet），在弱监督实例分割模型的基础上加入标签自生成模块，利用颜色空间转换、轮廓跟踪和最小外接矩形在玉米苗期图像（俯视图）中生成目标边界框（弱标签），利用弱标签代替人工标签参与网络训练，在无人工标签条件下实现玉米苗期图像实例分割。试验结果表明，自生成标签与人工标签的距离交并比和余弦相似度分别达到95.23%和94.10%，标签质量可以满足弱监督训练要求；AutoLNet输出预测框和掩膜的平均精度分别达到68.69%和35.07%，与人工标签质量相比，预测框与掩膜的平均精度分别提高了10.83和3.42个百分点，与弱监督模型（DiscoBox和Box2Mask）相比，预测框平均精度分别提高了11.28和8.79个百分点，掩膜平均精度分别提高了12.75和10.72个百分点；与全监督模型（CondInst和Mask R-CNN）相比，AutoLNet的预测框平均精度和掩膜平均精度可以达到CondInst模型的94.32%和83.14%，比Mask R-CNN模型的预测框和掩膜平均精度分别高7.54和3.28个百分点。AutoLNet可以利用标签自生成模块自动获得图像中玉米植株标签，在无人工标签的前提下实现玉米苗期图像的实例分割，可为大田环境下的玉米苗期图像实例分割任务提供解决方案和技术支持。     

基于改进Cascade Mask R-CNN与协同注意力机制的群猪姿态识别

猪体姿态识别有助于实现猪只健康状况预警、预防猪病爆发,是当前研究热点。针对复杂场景下群猪容易相互遮挡、粘连,姿态识别困难的问题,该研究提出一种实例分割与协同注意力机制相结合的两阶段群猪姿态识别方法。首先,以Cascade Mask R-CNN作为基准网络,结合HrNetV2和FPN模块构建猪体检测与分割模型,解决猪体相互遮挡、粘连等问题,实现复杂环境下群猪图像的高精度检测与分割;在上述提取单只猪基础上,构建了基于协同注意力机制(coordinate attention,CA)的轻量级猪体姿态识别模型(CA-MobileNetV3),实现猪体姿态的精准快速识别。最后,在自标注数据集上的试验结果表明,在猪体分割与检测环节,该研究所提模型与MaskR-CNN、MSR-CNN模型相比,在AP_0.50、AP_0.75、AP_0.50:0.95和AP_{0.5:0.95-large}指标上最多提升了1.3、1.5、6.9和8.8个百分点,表现出最优的分割与检测性能。而在猪体姿态识别环节,所提CA-MobileNetV3模...     

基于深度学习的玉米籽粒破损在线检测技术

玉米籽粒破损是制约中国玉米籽粒直收技术推广应用的瓶颈问题,如何快速准确地获取玉米收获过程中籽粒损伤情况是玉米智能化收获的关键。为了解决这一问题,该研究提出一种基于深度学习的玉米籽粒破损检测装置及方法,该方法采用籽粒单层化装置不断获取高质量玉米籽粒集图像数据,并通过深度学习分割、分类两阶段模型实现破损玉米籽粒检测。图像分割阶段通过深度学习经典实例分割模型（Mask R-CNN）完成区域内玉米籽粒单体分割;而图像分类则由该研究基于残差模块提出的新型网络模型（BCK-CNN）实现。为了评价BCK-CNN分类模型的有效性,将其和其他典型深度学习分类模型进行对比测试,并利用可视化的技术评估了不同模型对玉米籽粒的分类性能。结果表明：BCK-CNN模型对完整、破损玉米籽粒的分类准确性分别达到96.5%、94.2%。另外,选取平均相对误差为评价指标,通过模拟试验对比验证了该检测方法对破损玉米籽粒的检测性能。结果表明：相较于人工计算籽粒破损率,该研究提出的破损玉米籽粒检测方法计算得到的平均相对误差仅4.02%;且将其部署在移动工控机上对单周期玉米籽粒集图像检测时间可以控制在1.2 s内,研究结果为玉米收获过程中破损籽粒高效精准检测提供参考。     

基于改进YOLOv7-seg的黄花菜检测分割识别算法

目标检测与分割是实现黄花菜智能化采摘的关键技术,原始目标检测算法容易出现漏检、误检等问题,无法满足自然环境下生长的黄花菜采摘要求。该研究提出一种基于改进YOLOv7-seg的黄花菜目标检测与实例分割识别算法模型（YOLO-Daylily）。通过在YOLOv7-seg骨干网络（backbone）中引入CBAM（convolutional block attention module）注意力机制模块,降低背景等干扰因素的影响;在ELAN（efficient layer aggregation networks）模块中采用PConv（partial convolution）替换原有的3×3卷积层,减少冗余计算和内存访问,提升对目标黄花菜特征提取的能力。颈部网络（neck）采用坐标卷积（CoordConv）替换PA-FPN（path aggregation-feature pyramid networks）中1×1卷积层,增强模型对位置的感知,提高掩膜（mask）鲁棒性。在改进的PA-FPN结构中采用残差连接方法将浅层特征图几何信息与深层特征图语义信息特征相结合,提高模型对目标黄花菜的检测分割性能。消融试验表明：改进后的算法检测准确率、召回率和平均精度分别达到92%、86.5%、93%,相比YOLOv7-seg基线算法分别提升2.5、2.3、2.7个百分点;分割准确率、召回率和平均精度分别达到92%、86.7%、93.5%,比基线算法分别提升0.2、3.5、3个百分点。与Mask R-CNN、SOLOv2、YOLOV5-seg、YOLOv5x-seg算法相比,平均精度分别提升8.4、12.7、4.8、5.4个百分点。改进后的模型减少了漏检、误检等情况,对目标定位更加精准,为后续黄花菜智能化采摘实际应用提供理论支持。     

改进Mask R-CNN的真实环境下鱼体语义分割

鱼体语义分割是实现鱼体三维建模和语义点云、计算鱼体生长信息的基础。为了提高复杂环境下鱼体语义分割精度,该研究提出了SA-Mask R-CNN模型,即融合SimAM注意力机制的Mask R-CNN。在残差网络的每一层引入注意力机制,利用能量函数为每一个神经元分配三维权重,以加强对鱼体关键特征的提取;使用二次迁移学习方法对模型进行训练,即首先利用COCO数据集预训练模型在Open Images DatasetV6鱼类图像数据集完成第一次迁移学习,然后在自建数据集上完成第二次迁移学习,利用具有相似特征空间的2个数据集进行迁移学习,在一定程度上缓解了图像质量不佳的情况下鱼体语义分割精度不高的问题。在具有真实养殖环境特点的自建数据集上进行性能测试,结果表明,SA-Mask R-CNN网络结合二次迁移学习方法的交并比达93.82%,综合评价指标达96.04%,分割效果优于SegNet和U-Net++,较引入SENet和CBAM注意力模块的Mask R-CNN交并比分别提升了1.79个百分点和0.33个百分点,综合评价指标分别提升了2.03个百分点和0.38个百分点,模型参数量分别减小了4.7和5MB。研究结果可为鱼体点云计算提供参考。