基于改进YOLOv4模型的橙果识别与定位方法

为提高橙果采摘定位精度和作业速度,提出一种便于迁移至移动终端的改进YOLOv4模型,可从RealSense深度相机所成彩色图像中获取果实质心二维坐标,经配准提取对应深度图中质心点深度值,实现果实的三维空间定位。改进YOLOv4模型以MobileNet v2为主干网络,在颈部结构中使用深度可分离卷积替换普通卷积,实现模型轻量化并提高检测速度。训练后的改进模型对513张独立橙果测试集数据的识别平均精度达97.24%,与原始YOLOv4模型相比,平均检测时间减少11.39 ms,模型大小减少197.5 M。与经典Faster RCNN、SSD模型相比,检测平均精度分别提高了2.69和3.11个百分点,模型大小分别减少了474.5和44.1 M。与轻量化模型YOLOv4-tiny相比,召回率提升了4.22个百分点,较Ghostnet-YOLOv4,平均检测时间减少了7.15 ms。为验证该改进算法实用性,应用改进模型获取果园中78个橙果的位置信息,结果表明：果实二维识别成功率达98.72%,水平方向及垂直方向的平均绝对百分比误差均在1%以内。果实三维定位成功率达96.15%,深度信息平均绝对百分比误差为2.72%,满足采摘机械手精准定位需求。该方法为复杂场景下采摘作业实现提供了鲁棒性强、实时性好、精准度高的目标定位途径。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM(convolutional block attention module),改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于改进YOLOv7的黄瓜叶片病虫害检测与识别

黄瓜叶片病虫害的检测与识别是科学防治病害的有效手段。为了提高对黄瓜叶片病斑细小特征的精准定位能力以及提高对早疫病叶片的检测性能,提出一种DCNSE-YOLOv7的深度学习算法。首先,将主干特征提取网络中对最后一个特征层的卷积2D convolution(Conv2D)改为可变形卷积2D Deformable convolution(DCNv2),提高模型对病斑细小特征的提取能力;其次,对主干特征提取网络输出的3个特征层结果添加Squeeze-and-Excitation networks(SENet)注意力机制模块构建网络模型,加强模型对发病早期相似病害特征的有效提取能力;同时,通过K-means++聚类算法对锚框重新聚类,避免算法在训练过程中盲目学习目标的尺寸和位置;最后,将原始YOLOv7的CIOU损失函数,更替为Focal-EIOU损失函数。试验结果表明,DCNSE-YOLOv7算法能够有效对黄瓜叶片病虫害进行检测,其平均精度均值为94.25%,比YOLOv5l、YOLOv7、Faster-RCNN、SSD和YOLOv7-tiny模型分别提高了2.72、2.87、0.28、12....     

基于改进YOLOv7的疏果期苹果目标检测方法

疏果期苹果目标检测是实现疏果机械化、自动化需要解决的关键问题。为实现疏果期苹果目标准确检测,该研究以YOLOv7为基础网络,融合窗口多头自注意力机制（Swin Transformer Block）,设计了一种适用于近景色小目标检测的深度学习网络。首先在YOLOv7模型的小目标检测层中添加Swin Transformer Block,保留更多小尺度目标特征信息,将预测框与真实框方向之间的差异考虑到模型训练中,提高模型检测精度,将YOLOv7中的损失函数CIoU替换为SIoU。最后利用Grad-CAM方法产生目标检测热力图,进行有效特征可视化,理解模型关注区域。经测试,该文模型的检测均值平均精度为95.2%,检测准确率为92.7%,召回率为91.0%,模型所占内存为81 MB,与原始模型相比,均值平均精度、准确率、召回率分别提高了2.3、0.9、1.3个百分点。该文模型对疏果期苹果具有更好的检测效果和鲁棒性,可为苹果幼果生长监测、机械疏果等研究提供技术支持。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。     

基于改进轻量化YOLOv4模型的虾只肉壳辨识方法

为实现虾只机械剥壳环节裸肉虾与带壳虾自动分选,该研究提出一种基于改进YOLOv4模型的虾只肉壳辨识方法。将YOLOv4模型中CSP-Darknet53网络替换为GhostNet网络,增强模型自适应特征提取能力及简化模型参数计算量。在YOLOv4主干特征提取网络Resblock模块中引入轻量级注意力机制,增强主干特征提取网络的特征提取能力。将YOLOv4模型中GIoU损失函数替换为CIoU损失函数,提高模型预测框的回归效果。为检测改进效果进行了不同模型对比验证,轻量化结果表明改进YOLOv4模型参数量最少、计算量最小;消融试验表明改进YOLOv4模型的平均精度均值为92.8%,比YOLOv4模型提升了6.1个百分点。不同场景下应用改进YOLOv4模型进行虾只肉壳辨识性能试验。结果表明：同品种不同环境的虾只肉壳辨识总体平均准确率为95.9 %,同品种不同剥壳方式的虾只肉壳辨识准确率平均值为90.4 %,不同品种虾只肉壳辨识准确率平均值为87.2 %。研究结果可为裸肉虾与带壳虾自动分选提供技术支撑。     

基于改进YOLOv8模型的轻量化板栗果实识别方法

为实现自然环境下的板栗果实目标快速识别，该研究以湖北省种植板栗为研究对象，提出了一种基于改进YOLOv8模型的栗果识别方法YOLOv8-PBi。首先，将部分卷积（partial convolution，PConv）引入C2f模块中，缩减卷积过程中的浮点数和计算量；其次，引入加权双向特征金字塔网络（bidirectional feature pyramid network，BiFPN），增强多尺度特征融合性能，最后，更改边界框损失函数为动态非单调聚焦机制WIoU（wise intersection over union，WIoU），提高模型收敛速度，进一步提升模型检测性能。试验结果表明，改进YOLOv8-PBi模型准确率、召回率和平均精度分别为89.4%、74.9%、84.2%；相比原始基础网络YOLOv8s，模型权重减小46.22%，准确率、召回率和平均精度分别提升1.3、1.5、1.8个百分点。部署模型至边缘嵌入式设备上，经过TensorRT加速后，检测帧率达到43 帧/s。该方法可为板栗智能化收获过程中的栗果识别提供技术基础。     

基于改进YOLOv4-Tiny的蓝莓成熟度识别方法

为实现自然环境下蓝莓果实成熟度的精确快速识别,该研究对YOLOv4-Tiny网络结构进行改进,提出一种含有注意力模块的目标检测网络（I-YOLOv4-Tiny）。该检测网络采用CSPDarknet53-Tiny网络模型作为主干网络,将卷积注意力模块（Convolution Block Attention Module,CBAM）加入到YOLOv4-Tiny网络结构的特征金字塔（Feature Pyramid Network,FPN）中,通过对每个通道的特征进行权重分配来学习不同通道间特征的相关性,加强网络结构深层信息的传递,从而降低复杂背景对目标识别的干扰,且该检测网络的网络层数较少,占用内存低,以此提升蓝莓果实检测的精度与速度。对该研究识别方法进行性能评估与对比试验的结果表明,经过训练的I-YOLOv4-Tiny目标检测网络在验证集下的平均精度达到97.30%,能有效地利用自然环境中的彩色图像识别蓝莓果实并检测果实成熟度。对比YOLOv4-Tiny、YOLOv4、SSD-MobileNet、Faster R-CNN目标检测网络,该研究在遮挡与光照不均等复杂场景中,平均精度能达到96.24%。平均检测时间为5.723 ms,可以同时满足蓝莓果实识别精度与速度的需求。I-YOLOv4-Tiny网络结构占用内存仅为24.20 M,为采摘机器人与早期产量预估提供快速精准的目标识别指导。     

基于改进YOLOv5s的苹果叶片小目标病害轻量化检测方法

为解决自然环境中苹果叶片病害检测场景复杂、小目标病害检测难度高以及模型参数大无法在移动端和嵌入式设备部署等问题,提出一种基于YOLOv5s的苹果叶片小目标病害轻量化检测方法。该方法将YOLOv5s的骨干网络更改为ShuffleNet v2轻量化网络,引入CBAM（convolutional block attention module）注意力模块使模型关注苹果叶片小目标病害,添加改进RFB-s（receptive field block-s）支路获取多尺度特征,提高苹果叶片病害检测精度,并更改边界框回归损失函数为SIoU（scylla-intersection over union）,增强病斑定位能力。试验表明改进后的YOLOv5s模型在IoU大于0.5时的平均精度均值（mean average precision,mAP_0.5）和每秒传输帧数（frame per second,FPS）分别达到90.6%和175帧/s,对小目标的平均检测准确率为38.2%,与基准模型YOLOv5s相比,其mAP_0.5提升了0.8个百分点,参数量减少了6.17 MB,计算量减少了13.8 G,对小目标的检测准确率提高了3个百分点。改进后的YOLOv5s目标检测模型与Faster R-CNN、SSD、YOLOv5m、YOLOv7、YOLOv8和YOLOv5s目标检测模型相比,具有最小的参数量和计算量,对小目标病害叶斑病和锈病的检测准确率分别提高了1.4、4.1、0.5、5.7、3.5、3.9和1.5、4.3、1.2、2.1、4、2.6个百分点,该方法为真实自然环境下苹果叶片病害尤其是小目标病害的轻量化检测提供参考依据。     

快速精准识别棚内草莓的改进YOLOv4-Tiny模型

为了实现棚内草莓果实的快速精准识别,该研究提出一种基于改进YOLOv4-Tiny的草莓检测模型。首先,为了大幅度减少模型计算量,采用轻量型网络GhostNet作为特征提取网络,并在GhostBottleneck结构中嵌入卷积注意力模块以加强网络的特征提取能力;其次,在颈部网络中添加空间金字塔池化模块和特征金字塔网络结构,融合多尺度特征提升小目标草莓的检测效果;最后,采用高效交并比损失作为边界框回归损失函数,加速网络收敛并提高模型的检测准确率。结果表明,改进YOLOv4-Tiny模型权重大小仅为4.68 MB,平均每幅图片的检测时间为5.63 ms,在测试集上的平均精度均值达到92.62%,相较于原YOLOv4-Tiny模型提升了5.77个百分点。与主流的目标检测模型SSD、CenterNet、YOLOv3、YOLOv4和YOLOv5s相比,改进YOLOv4-Tiny模型平均精度均值分别高出9.11、4.80、2.26、1.22、1.91个百分点,并且模型权重大小和检测速度方面均具有绝对优势,该研究可为后续果实智能化采摘提供技术支撑。     

基于改进YoloV4的轻量化菠萝苗心检测算法

当前菠萝催花作业以人工喷洒为主,生产效率低、劳动强度大。菠萝苗心位置的精准识别和定位是实现机械化、智能化菠萝催花的核心问题。该研究在YoloV4目标识别算法的基础上,选择GhostNet作为主干特征提取网络,构建了一种混合网络模型,并在颈部网络中融合深度可分离卷积与轻量级的注意力模块。改进后的模型相较于YoloV4模型的总参数量减少70%。与YoloV4、Faster R-CNN和CenterNet 3个模型进行检测对比试验,结果可得：改进模型在菠萝植株种植密集与稀疏的条件下识别精度分别为94.7%和95.5%,实时识别速度可达27帧/s,每张图像平均检测时间为72 ms,相比常规YoloV4模型用时缩短23%。总体性能表现均优于对比组的目标检测模型。总的来说,改进模型YoloV4-GHDW在一定程度上实现了检测速度、识别精度和模型体量三者之间平衡,能够在实际种植环境下对菠萝苗心有较好的识别效果。研究结果可为智能化菠萝精准催花设备研发提供视觉技术支持。     

基于改进型YOLOv4的果园障碍物实时检测方法

针对农业机器人在复杂的果园环境中作业时需要精确快速识别障碍物的问题,该研究提出了一种改进型的YOLOv4目标检测模型对果园障碍物进行分类和识别。为了减少改进后模型的参数数量并提升检测速度,该研究使用了深度可分离卷积代替模型中原有的标准卷积,并将主干网络CSP-Darknet中的残差组件（Residual Unit）改进为逆残差组件（Inverted Residual Unit）。此外,为了进一步增强模型对目标密集区域的检测能力,使用了软性非极大值抑制（Soft DIoU-Non-Maximum Suppression,Soft-DIoU-NMS）算法。为了验证该研究所提方法的有效性,选取果园中常见的3种障碍物作为检测对象制作图像数据集,在Tensorflow深度学习框架上训练模型。然后将测试图片输入训练好的模型中检测不同距离下的目标障碍物,并在同一评价指标下,将该模型的测试结果与改进前YOLOv4模型的测试结果进行评价对比。试验结果表明,改进后的YOLOv4果园障碍物检测模型的平均准确率和召回率分别为96.92%和91.43%,视频流检测速度为58.5帧/s,相比于原模型,改进后的模型在不损失精度的情况下,将模型大小压缩了75%,检测速度提高了29.4%。且改进后的模型具有鲁棒性强、实时性更好、轻量化的优点,能够更好地实现果园环境下障碍物的检测,为果园智能机器人的避障提供了有力的保障。     

基于改进YOLOv5s和迁移学习的苹果果实病害识别方法

为实现对苹果果实病害的快速准确识别,提出了一种基于改进YOLOv5s的果实病害识别模型：GHTR2-YOLOv5s （YOLOv5s with Ghost structure and TR2 module）,并通过迁移学习策略对其进行优化。在YOLOv5s基础上通过加入幻影结构和调整特征图整体宽度得到小型基线模型,通过卷积块注意力模块（Convolutional Block Attention Module, CBAM）和加权双向特征金字塔网络（Bidirectional Feature Pyramid Network, BIFPN）提高模型精度,使用TR2（Two Transformer）作为检测头增强模型对全局信息的获取能力。改进后模型大小和识别速度为2.06 MB和0.065 s/张,分别为YOLOv5s模型的1/6和2.5倍;IoU阈值为0.5下的平均精度均值（mAP0.5）达到0.909,能快速准确地识别苹果果实病害。研究通过在线图像增强与迁移学习相结合的方式提高模型收敛速度,进一步提高模型精度,其mAP0.5达到0.916,较原始模型提升8.5%。试验结果表明,该研究提出的基于GHTR2-YOLOv5s和迁移学习的苹果病害识别方法有效优化了模型训练过程,实现了占用较少计算资源的情况下对苹果病害进行快速准确地识别。     

采用改进YOLOv4-Tiny模型的柑橘木虱识别

黄龙病是一种以柑橘木虱为传播媒介的毁灭性病害,其关键预防措施是在果园现场环境对柑橘木虱识别监测,辅助果农进行早期防治。该研究基于YOLOv4-Tiny模型提出一种适用于嵌入式系统的柑橘木虱识别模型。通过改进YOLOv4-Tiny模型的颈部网络,利用浅层网络的细节信息以提高模型识别柑橘木虱的平均精度;采用交叉小批量归一化（Cross mini-Batch Normalization,CmBN）方法代替批归一化（Batch Normalization,BN）方法,通过累计卷积层的输出,提升统计信息的准确度;针对柑橘木虱易被遮挡的问题,模型训练时使用Mosaic数据增强,提升模型对遮挡目标的识别能力。通过自行建立的柑橘木虱图像数据集完成模型的试验验证。结果表明,该模型的柑橘木虱平均识别精度为96.16%,在图形处理器（Graphics Processing Unit, GPU）上的推理速度为3.63 ms/帧,模型大小为24.5 MB,实现了果园环境下快速准确地识别柑橘木虱,可为黄龙病防治技术的进一步发展提供参考。     

采用改进YOLOv4算法的大豆单株豆荚数检测方法

大豆单株豆荚数检测是考种的重要环节,传统方法通过人工目测的方式获取豆荚类型和数量,该方法费时费力且误差较大。该研究利用大豆单株表型测量仪采集到的表型数据,通过融合K-means聚类算法与改进的注意力机制模块,对YOLOv4目标检测算法进行了改进,使用迁移学习预训练,获取最优模型对测试集进行预测。试验结果表明,该研究模型的平均准确率为80.55%,数据扩充后准确率达到了84.37%,比育种专家目测准确率提高了0.37个百分点,若不考虑5粒荚,该研究模型的平均准确率为95.92%,比YOLOv4模型提高了10.57个百分点,具有更强的检测性能。在简单背景的摆盘豆荚检测中,该研究模型预测的平均准确率达到了99.1%,比YOLOv4模型提高了1.81个百分点,研究结果表明该模型在不同场景下的大豆豆荚检测中具有较强的泛化能力,可为大豆人工智能育种提供参考。     

基于改进型YOLOv4-LITE轻量级神经网络的密集圣女果识别

对密集圣女果遮挡、粘连等情况下的果实进行快速识别定位,是提高设施农业环境下圣女果采摘机器人工作效率和产量预测的关键技术之一,该研究提出了一种基于改进YOLOv4-LITE轻量级神经网络的圣女果识别定位方法。为便于迁移到移动终端,该方法使用MobileNet-v3作为模型的特征提取网络构建YOLOv4-LITE网络,以提高圣女果果实目标检测速度;为避免替换骨干网络降低检测精度,通过修改特征金字塔网络（Feature Pyramid Networks,FPN）+路径聚合网络（Path Aggregation Network,PANet）的结构,引入有利于小目标检测的104×104尺度特征层,实现细粒度检测,在PANet结构中使用深度可分离卷积代替普通卷积降低模型运算量,使网络更加轻量化;并通过载入预训练权重和冻结部分层训练方式提高模型的泛化能力。通过与YOLOv4在相同遮挡或粘连程度的测试集上的识别效果进行对比,用调和均值、平均精度、准确率评价模型之间的差异。试验结果表明：在重叠度为0.50时所提出的密集圣女果识别模型在全部测试集上调和均值、平均精度和准确率分别为0.99、99.74%和99.15%,同比YOLOv4分别提升了0.15、8.29、6.55个百分点,权重大小为45.3 MB,约为YOLOv4的1/5,对单幅416×416（像素）图像的检测,在图形处理器（Graphics Processing Unit,GPU）上速度可达3.01 ms/张。因此,该研究提出的密集圣女果识别模型具有识别速度快、识别准确率高、轻量化等特点,可为设施农业环境下圣女果采摘机器人高效工作以及圣女果产量预测提供有力的保障。