融合坐标注意力机制的轻量级玉米花丝检测

玉米花丝性状是玉米生长状态的重要表征,也是决定玉米果穗生长进而影响玉米产量的重要因素。为了提升无人巡检机器人视觉系统对玉米花丝的检测精度和速度,该研究提出一种融合坐标注意力机制的轻量级目标检测网络YOLOX-CA。将坐标注意力机制（coordinate attention, CA）模块嵌入到YOLOX-s主干特征网络（Backbone）部分,以加强对关键特征的提取,提升检测精度;在颈部特征加强网络（Neck）部分,将特征金字塔结构中的普通卷积,更改为深度可分离卷积,在降低网络参数量的同时保证精度不丢失;在预测头（Head）部分引入GIoU（generalized intersection over union）改进定位损失函数计算,得到更为精准的预测结果。基于自建玉米花丝数据集训练和测试网络,试验结果表明,YOLOX-CA网络平均检测精确度达到97.69%,参数量低至8.35 M。在同一试验平台下,相较于YOLOX-s、YOLOv3、YOLOv4等目前主流的目标检测网络,平均检测精确度分别提升了2.21、3.22和0.64个百分点;相较于YOLOv3、YOLOv4,每帧推理时间分别缩短4和8 ms。该网络针对玉米花丝的检测效果较好,其轻量结构适于部署在无人巡检机器人的视觉系统上,可为玉米生长状态监测提供参考。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。     

基于多目标识别的葡萄果串采摘点定位方法

为减少采摘点定位不当导致末端碰撞损伤结果枝与果串，致使采摘失败及损伤率提高等问题，该研究提出了基于深度学习与葡萄关键结构多目标识别的采摘点定位方法。首先，通过改进YOLACT++模型对结果枝、果梗、果串等葡萄关键结构进行识别与分割；结合关键区域间的相交情况、相对位置，构建同串葡萄关键结构从属判断与合并方法。最后设计了基于结构约束与范围再选的果梗低碰撞感兴趣区域(region of interest, ROI)选择方法，并以该区域果梗质心为采摘点。试验结果表明，相比于原始的YOLACT++，G-YOLACT++边界框和掩膜平均精度均值分别提升了0.83与0.88个百分点；对单串果实、多串果实样本关键结构从属判断与合并的正确率分别为88%、90%，对关键结构不完整的果串剔除正确率为92.3%；相较于以ROI中果梗外接矩形的中心、以模型识别果梗的质心作为采摘点的定位方法，该研究采摘点定位方法的成功率分别提升了10.95、81.75个百分点。该研究为葡萄采摘机器人的优化提供了技术支持，为非结构化环境中的串类果实采摘机器人的低损收获奠定基础。     

高架草莓的果实识别与果梗分割

在高架栽培环境下,精准识别草莓果实并分割果梗对提升草莓采摘机器人的作业精度和效率至关重要。该研究在原YOLOv5s模型中引入自注意力机制,提出了一种改进的YOLOv5s模型（ATCSP-YOLOv5s）用于高架草莓的果实识别,并通过YOLOv5s-seg模型实现了果梗的有效分割。试验结果显示,ATCSP-YOLOv5s模型的精确率、召回率和平均精度值分别为97.24%、94.07%、95.59%,较原始网络分别提升了4.96、7.13、4.53个百分点;检测速度为17.3帧/s。此外,YOLOv5s-seg果梗分割模型的精确率、召回率和平均精度值分别为82.74%、82.01%和80.67%。使用ATCSP-YOLOv5s模型和YOLOv5s-seg模型分别对晴天顺光、晴天逆光和阴天条件下的草莓图像进行检测,结果表明,ATCSP-YOLOv5s模型在3种条件下识别草莓果实的平均精度值为95.71%、95.34%、95.56%,较原始网络提升4.48、4.60、4.50个百分点。YOLOv5s-seg模型在3种条件下分割草莓果梗的平均精度值为82.31%、81.53%、82.04%。该研究为草莓采摘机器人的自动化作业提供了理论和技术支持。     

基于改进Mask R-CNN的番茄侧枝修剪点识别方法

为解决番茄枝叶修剪机器人无法准确识别番茄侧枝修剪点的问题,提出基于改进Mask R-CNN模型的番茄侧枝修剪点的识别方法。将Mask R-CNN的主干网络ResNet50替换为MobileNetv3-Large来降低模型复杂度和提升运行速度,并对部分特征图添加ECA(Efficient Channel Attention)注意力机制,以提升模型精度;通过改进的Mask R-CNN模型预测番茄侧枝与主枝的分割掩膜和边框位置;针对部分单根枝条被分割成多段掩膜的问题,通过掩膜边界框宽高比区分侧枝和主枝,分析同一枝条相邻掩膜约束条件,然后将符合约束条件的掩膜进行合并连接;根据修剪点在主枝附近的特点确定修剪点所在端,然后确定靠近修剪端端点的中心点作为侧枝的修剪点。试验结果表明,改进的Mask R-CNN模型平均分割图片时间为0.319s,召回率和精确率分别为91.2%和88.6%,掩膜平均合并成功率为86.2%,修剪点识别平均准确率为82.9%。该研究为番茄枝叶修剪机器人的研发提供参考。     

基于改进YOLOv5s的果园环境葡萄检测

为了快速精准地识别复杂果园环境下的葡萄目标，该研究基于YOLOv5s提出一种改进的葡萄检测模型（MRWYOLOv5s）。首先，为了减少模型参数量，采用轻量型网络MobileNetv3作为特征提取网络，并在MobileNetv3的bneck结构中嵌入坐标注意力模块（coordinate attention,CA）以加强网络的特征提取能力；其次，在颈部网络中引入RepVGG Block，融合多分支特征提升模型的检测精度，并利用RepVGG Block的结构重参数化进一步加快模型的推理速度；最后，采用基于动态非单调聚焦机制的损失（wise intersection over union loss,WIoU Loss）作为边界框回归损失函数，加速网络收敛并提高模型的检测准确率。结果表明，改进的MRW-YOLOv5s模型参数量仅为7.56 M，在测试集上的平均精度均值（mean average precision,mAP）达到97.74%，相较于原YOLOv5s模型提升了2.32个百分点，平均每幅图片的检测时间为10.03 ms，比原YOLOv5s模型减少了6.13 ms。与主流的目标检测模型S...     

基于改进YOLOv5s的名优绿茶品质检测

针对实际检测过程中茶叶数量多、体积小、茶叶之间颜色和纹理相似等特点,该研究提出了一种基于YOLOv5s的名优绿茶品质检测算法。首先,该算法在骨干网络层引入膨胀卷积网络,通过增大感受野的方式增强茶叶微小特征的提取。其次,改进特征融合进程,基于通道注意力和空间注意力抑制无关信息的干扰,构建CBAM注意力机制优化检测器。接着根据swin transformer网络结构在多个维度对小尺度茶叶的特征进行交互和融合。最后,配合SimOTA匹配算法动态分配茶叶正样本,提高不同品质茶叶的识别能力。结果表明,改进后的算法精准度、召回率、平均精度均值、模型体积、检测速度分别为97.4%、89.7%、91.9%、7.11MB和51帧/s,相较于基础的YOLOv5s平均精度均值提高了3.8个百分点,检测速度提高了7帧/s。利用相同数据集在不同目标检测模型上进行对比试验,与Faster-RCNN、SSD、YOLOv3、YOLOv4等模型相比,平均精度均值分别提升10.8、22.9、18.6、8.4个百分点,进一步验证了该研究方法的有效性和可靠性。     

基于改进Mask R-CNN的黄瓜叶面积测量模型

植物叶面积可以反映出植物的生长速率、养分吸收以及光合作用能力，针对锯齿状边缘的黄瓜叶片分割精度较低，叶面积测量误差较大等问题。该研究提出一种深度卷积网络模型Marm，在Mask R-CNN的基础上利用Sobel算子进行边缘检测，使模型生成的掩膜更接近叶片的边缘。另外，引入边缘损失以提升叶片边缘的分割精度。借助参照物标签，利用模型输出的掩膜图像进行面积计算，获得黄瓜叶片在不同生长周期的叶面积。试验结果表明，Marm模型精确率、召回率和交并比达到99.1%、94.87%和92.18%，比原始的Mask R-CNN分别提高1.28个百分点、1.13个百分点和1.05个百分点，面积误差率下降1.43个百分点。当图像中存在叶片遮挡和阴影等多种影响，黄瓜叶片的面积误差率仍然能保持在5.45%左右。该研究有效解决了锯齿状边缘的叶片分割问题，将为植物表型研究提供技术支撑。     

采用改进SSD网络的海参目标检测算法

随着海参养殖业快速发展,利用水下机器人代替人工作业的海参智能捕捞已成为发展趋势。浅海环境复杂,海参体色与环境区分性差、海参呈现半遮蔽状态等原因,导致目标识别准确率低下。此外由于景深运动,远端海参作为小目标常常未被识别成功。为解决上述问题,该研究提出一种基于改进SSD网络的海参目标检测算法。首先通过RFB（Receptive Field Block）模块扩大浅层特征感受野,利用膨胀卷积对特征图进行下采样,增加海参细节、位置等信息,并结合注意力机制,对不同深度特征进行强化,将计算得出的权重与原特征信息相乘以此获得特征图,使结果包含最具代表性的特征,也抑制无关特征。最后实现特征图融合,进一步提升水下海参的识别精度。以实际拍摄的视频进行测试验证,在网络结构层面上,对传统算法进行改进。试验结果表明,基于改进的SSD网络的海参目标检测算法的平均精度均值为95.63%,检测帧速为10.70帧/s,相较于传统的SSD算法,在平均精度均值提高3.85个百分点的同时检测帧速仅减少2.8帧/s。与Faster R-CNN算法和YOLOv4算法进行对比试验,该研究算法在平均精度均值指标上,分别比YOLOv4、Faster R-CNN算法提高4.19个百分点、1.74个百分点。在检测速度方面,该研究算法较YOLOv4、Faster R-CNN算法分别低4.6帧/s、高3.95帧/s,试验结果表明,综合考虑准确率与运行速度,改进后的SSD算法较适合进行海参智能捕捞任务。研究结果为海参智能捕捞提供参考。     

改进YOLOv5s对病理学图像中猪只小肠绒毛的检测

为解决传统小肠绒毛需要专业人员手动检测耗时耗力且存在主观性和不稳定性等问题,同时提高在复杂病理学图像中小肠绒毛检测的准确率和效率,该研究提出基于改进YOLOv5s检测复杂病理学图像下猪只小肠绒毛的方法。首先,采用串联形式的混合池化对空间金字塔进行优化,增强特征提取与特征表达,提升检测精度;然后引入一种基于注意力机制的网络模块(simpleattentionmechanism,SimAM)与Bottleneck中的残差连接相结合,使用SimAM对Bottleneck中的特征图进行加权,得到加权后的特征表示,利用注意力机制加强模型对目标的感知。试验结果表明,该研究算法的平均精度（average precision）和每秒传输帧数（frame per second,FPS）达到92.43%和40帧/s。改进后的YOLOv5s在召回率和平均精度上相较改进前提高2.49和4.62个百分点,在不增加模型参数量的情况下,每帧图片的推理时间缩短1.04 ms。与经典的目标检测算法SSD、Faster R-CNN、YOLOv6s、YOLOX相比,平均精度分别提高15.16、10.56、2.03和4.07...     

采用改进Mask R-CNN算法定位鲜食葡萄疏花夹持点

为实现鲜食葡萄疏花机械化与自动化,该研究提出了一种鲜食葡萄疏花夹持点定位方法。首先基于ResNeXt骨干网络并融合路径增强,改进Mask R-CNN模型,解决鲜食葡萄花穗、果梗目标较小难以检测的问题;进而针对花穗、果梗生长姿态的复杂性与不确定性,提出一种集合逻辑算法,该算法采用IoU函数剔除重复检测的花穗与果梗,建立花穗、果梗对,并对果梗掩模进行形态学开运算,利用集合关系获取主果梗掩模,确定以主果梗质心附近的中心点为果梗的夹持点。最后,随机选取测试集中的图像进行试验。试验结果表明：果梗夹持点平均定位准确率为83.3%,平均定位时间为0.325 s,夹持点x、y方向定位误差及定位总误差最大值分别为10、12和16像素,能够满足鲜食葡萄疏花的定位精度与速度要求,可为实现鲜食葡萄疏花机械化与自动化提供理论支撑。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。     

基于自生成标签的玉米苗期图像实例分割

在植物图像实例分割任务中，由于植物种类与形态的多样性，采用全监督学习时人们很难获得足量、有效且低成本的训练样本。为解决这一问题，该研究提出一种基于自生成标签的玉米苗期图像实例分割网络（automatic labelling based instance segmentation network，AutoLNet），在弱监督实例分割模型的基础上加入标签自生成模块，利用颜色空间转换、轮廓跟踪和最小外接矩形在玉米苗期图像（俯视图）中生成目标边界框（弱标签），利用弱标签代替人工标签参与网络训练，在无人工标签条件下实现玉米苗期图像实例分割。试验结果表明，自生成标签与人工标签的距离交并比和余弦相似度分别达到95.23%和94.10%，标签质量可以满足弱监督训练要求；AutoLNet输出预测框和掩膜的平均精度分别达到68.69%和35.07%，与人工标签质量相比，预测框与掩膜的平均精度分别提高了10.83和3.42个百分点，与弱监督模型（DiscoBox和Box2Mask）相比，预测框平均精度分别提高了11.28和8.79个百分点，掩膜平均精度分别提高了12.75和10.72个百分点；与全监督模型（CondInst和Mask R-CNN）相比，AutoLNet的预测框平均精度和掩膜平均精度可以达到CondInst模型的94.32%和83.14%，比Mask R-CNN模型的预测框和掩膜平均精度分别高7.54和3.28个百分点。AutoLNet可以利用标签自生成模块自动获得图像中玉米植株标签，在无人工标签的前提下实现玉米苗期图像的实例分割，可为大田环境下的玉米苗期图像实例分割任务提供解决方案和技术支持。     

基于改进Cascade Mask R-CNN与协同注意力机制的群猪姿态识别

猪体姿态识别有助于实现猪只健康状况预警、预防猪病爆发,是当前研究热点。针对复杂场景下群猪容易相互遮挡、粘连,姿态识别困难的问题,该研究提出一种实例分割与协同注意力机制相结合的两阶段群猪姿态识别方法。首先,以Cascade Mask R-CNN作为基准网络,结合HrNetV2和FPN模块构建猪体检测与分割模型,解决猪体相互遮挡、粘连等问题,实现复杂环境下群猪图像的高精度检测与分割;在上述提取单只猪基础上,构建了基于协同注意力机制（coordinate attention,CA）的轻量级猪体姿态识别模型（CA?MobileNetV3）,实现猪体姿态的精准快速识别。最后,在自标注数据集上的试验结果表明,在猪体分割与检测环节,该研究所提模型与Mask R-CNN、MS R-CNN模型相比,在AP0.50、AP0.75、AP0.50:0.95和AP0.5:0.95-large 指标上最多提升了1.3、1.5、6.9和8.8个百分点,表现出最优的分割与检测性能。而在猪体姿态识别环节,所提CA?MobileNetV3模型在跪立、站立、躺卧、坐立4种姿态类上的准确率分别为96.5%、99.3%、98.5%和98.7%,其性能优于主流的MobileNetV3、ResNet50、DenseNet121和VGG16模型,由此可知,该研究模型在复杂环境下群猪姿态识别具有良好的准确性和有效性,为实现猪体姿态的精准快速识别提供方法支撑。     

基于深度学习的玉米籽粒破损在线检测技术

玉米籽粒破损是制约中国玉米籽粒直收技术推广应用的瓶颈问题,如何快速准确地获取玉米收获过程中籽粒损伤情况是玉米智能化收获的关键。为了解决这一问题,该研究提出一种基于深度学习的玉米籽粒破损检测装置及方法,该方法采用籽粒单层化装置不断获取高质量玉米籽粒集图像数据,并通过深度学习分割、分类两阶段模型实现破损玉米籽粒检测。图像分割阶段通过深度学习经典实例分割模型（Mask R-CNN）完成区域内玉米籽粒单体分割;而图像分类则由该研究基于残差模块提出的新型网络模型（BCK-CNN）实现。为了评价BCK-CNN分类模型的有效性,将其和其他典型深度学习分类模型进行对比测试,并利用可视化的技术评估了不同模型对玉米籽粒的分类性能。结果表明：BCK-CNN模型对完整、破损玉米籽粒的分类准确性分别达到96.5%、94.2%。另外,选取平均相对误差为评价指标,通过模拟试验对比验证了该检测方法对破损玉米籽粒的检测性能。结果表明：相较于人工计算籽粒破损率,该研究提出的破损玉米籽粒检测方法计算得到的平均相对误差仅4.02%;且将其部署在移动工控机上对单周期玉米籽粒集图像检测时间可以控制在1.2 s内,研究结果为玉米收获过程中破损籽粒高效精准检测提供参考。     

主要粮食品质快速光学检测技术与装备研究进展

玉米籽粒破损是制约中国玉米籽粒直收技术推广应用的瓶颈问题,如何快速准确地获取玉米收获过程中籽粒损伤情况是玉米智能化收获的关键。为了解决这一问题,该研究提出一种基于深度学习的玉米籽粒破损检测装置及方法,该方法采用籽粒单层化装置不断获取高质量玉米籽粒集图像数据,并通过深度学习分割、分类两阶段模型实现破损玉米籽粒检测。图像分割阶段通过深度学习经典实例分割模型（Mask R-CNN）完成区域内玉米籽粒单体分割;而图像分类则由该研究基于残差模块提出的新型网络模型（BCK-CNN）实现。为了评价BCK-CNN分类模型的有效性,将其和其他典型深度学习分类模型进行对比测试,并利用可视化的技术评估了不同模型对玉米籽粒的分类性能。结果表明：BCK-CNN模型对完整、破损玉米籽粒的分类准确性分别达到96.5%、94.2%。另外,选取平均相对误差为评价指标,通过模拟试验对比验证了该检测方法对破损玉米籽粒的检测性能。结果表明：相较于人工计算籽粒破损率,该研究提出的破损玉米籽粒检测方法计算得到的平均相对误差仅4.02%;且将其部署在移动工控机上对单周期玉米籽粒集图像检测时间可以控制在1.2 s内,研究结果为玉米收获过程中破损籽粒高效精准检测提供参考。

     

基于改进YOLOv7-seg的黄花菜检测分割识别算法

目标检测与分割是实现黄花菜智能化采摘的关键技术,原始目标检测算法容易出现漏检、误检等问题,无法满足自然环境下生长的黄花菜采摘要求。该研究提出一种基于改进YOLOv7-seg的黄花菜目标检测与实例分割识别算法模型（YOLO-Daylily）。通过在YOLOv7-seg骨干网络（backbone）中引入CBAM（convolutional block attention module）注意力机制模块,降低背景等干扰因素的影响;在ELAN（efficient layer aggregation networks）模块中采用PConv（partial convolution）替换原有的3×3卷积层,减少冗余计算和内存访问,提升对目标黄花菜特征提取的能力。颈部网络（neck）采用坐标卷积（CoordConv）替换PA-FPN（path aggregation-feature pyramid networks）中1×1卷积层,增强模型对位置的感知,提高掩膜（mask）鲁棒性。在改进的PA-FPN结构中采用残差连接方法将浅层特征图几何信息与深层特征图语义信息特征相结合,提高模型对目标黄花菜的检测分割性能。消融试验表明：改进后的算法检测准确率、召回率和平均精度分别达到92%、86.5%、93%,相比YOLOv7-seg基线算法分别提升2.5、2.3、2.7个百分点;分割准确率、召回率和平均精度分别达到92%、86.7%、93.5%,比基线算法分别提升0.2、3.5、3个百分点。与Mask R-CNN、SOLOv2、YOLOV5-seg、YOLOv5x-seg算法相比,平均精度分别提升8.4、12.7、4.8、5.4个百分点。改进后的模型减少了漏检、误检等情况,对目标定位更加精准,为后续黄花菜智能化采摘实际应用提供理论支持。     

改进Mask R-CNN的真实环境下鱼体语义分割

鱼体语义分割是实现鱼体三维建模和语义点云、计算鱼体生长信息的基础。为了提高真实复杂环境下鱼体语义分割精度,该研究提出了SA-Mask R-CNN模型,即融合SimAM注意力机制的Mask R-CNN。在残差网络的每一层引入注意力机制,利用能量函数为每一个神经元分配三维权重,以加强对鱼体关键特征的提取;使用二次迁移学习方法对模型进行训练,即首先利用COCO数据集预训练模型在Open Images DatasetV6鱼类图像数据集完成第一次迁移学习,然后在自建数据集上完成第二次迁移学习,利用具有相似特征空间的2个数据集进行迁移学习,在一定程度上缓解了图像质量不佳的情况下鱼体语义分割精度不高的问题。在具有真实养殖环境特点的自建数据集上进行性能测试,结果表明,SA-Mask R-CNN网络结合二次迁移学习方法的交并比达93.82%,综合评价指标达96.04%,分割效果优于SegNet和U-Net++,较引入SENet和CBAM（Convolutional Block Attention Module, CBAM）注意力模块的Mask R-CNN交并比分别提升了2.46和1.0个百分点,综合评价指标分别提升了2.57和0.92个百分点,模型参数量分别减小了4.7和5 MB。研究结果可为鱼体点云计算提供参考。