采用改进YOLOv5的蕉穗识别及其底部果轴定位

为提高香蕉采摘机器人的作业效率和质量,实现机器人末端承接机构的精确定位,该研究提出一种基于YOLOv5算法的蕉穗识别,并对蕉穗底部果轴进行定位的方法。将CA（Coordinate Attention）注意力机制融合到主干网络中,同时将C3（Concentrated-Comprehensive Convolution Block）特征提取模块与CA注意力机制模块融合构成C3CA模块,以此增强蕉穗特征信息的提取。用 EIoU（Efficient Intersection over Union）损失对原损失函数CIoU（Complete Intersection over Union）进行替换,加快模型收敛并降低损失值。通过改进预测目标框回归公式获取试验所需定位点,并对该点的相机坐标系进行转换求解出三维坐标。采用D435i深度相机对蕉穗底部果轴进行定位试验。识别试验表明,与YOLOv5、Faster R-CNN等模型相比,改进YOLOv5模型的平均精度值（mean Average Precision, mAP）分别提升了0.17和21.26个百分点;定位试验表明,采用改进YOLOv5模型对蕉穗底部果轴定位误差均值和误差比均值分别为0.063 m和2.992%,与YOLOv5和Faster R-CNN模型相比,定位误差均值和误差比均值分别降低了0.022 m和1.173个百分点,0.105 m和5.054个百分点。试验实时可视化结果表明,改进模型能对果园环境下蕉穗进行快速识别和定位,保证作业质量,为后续水果采摘机器人的研究奠定了基础。     

农业车辆双目视觉障碍物感知系统设计与试验

为保证智能化农业机械在自主导航过程中的安全可靠性,该研究将嵌入式AI计算机Jetson TX2作为运算核心,设计一套基于双目视觉的农业机械障碍物感知系统。使用深度卷积神经网络对作业环境中的障碍物进行识别,并提出一种基于改进YOLOv3的深度估计方法。将双目相机抓取的左右图像分别输入至改进的YOLOv3模型中进行障碍物检测,并将输出的目标检测框信息进行目标匹配和视差计算,完成对障碍物的识别、定位和深度估计。试验结果表明,该系统能够对障碍物进行准确识别,平均准确率和召回率分别达到89.54%和90.18%;改进YOLOv3模型的深度估计误差均值、误差比均值较原始YOLOv3模型分别降低25.69%、25.65%,比Hog+SVM方法分别降低41.9%、41.73%;动态场景下系统对障碍物深度估计的平均误差比为4.66%,平均耗时0.573 s,系统在深度预警时能够及时开启电控液压转向模块进行安全避障。研究结果可为农业机械的自主导航提供有效的环境感知依据。     

基于改进YOLOv7的果园行间导航线检测

在复杂果园环境中，传统机器视觉算法难以处理光影变化、遮挡、杂草等因素的干扰，导致导航道路分割不准确。针对此问题，该研究提出了一种改进YOLOv7的果园内导航线检测方法。将注意力机制模块(convolutional block attention module，CBAM)引入到原始YOLOv7模型的检测头网络中，增强果树目标特征，削弱背景干扰；在ELAN-H(efficient layer aggregation networks-head，ELAN-H)模块和Repconv(re-parameterization convolution，Repconv)模块之间引入SPD-Conv(space-to-depth，non-strided convolution，SPD-Conv)模块，提高模型对低分辨率图像或小尺寸目标的检测能力。以树干根部中点作为导航定位基点，利用改进YOLOv7模型得到两侧果树行线的定位参照点，然后利用最小二乘法拟合两侧果树行线和导航线。试验结果表明，改进YOLOv7模型检测精度为95.21%，检测速度为42.07帧/s，相比于原始YOLOv7模型分别提升了2.31个百分点和4.85帧/s，能够较为准确地识别出树干，且对树干较密的枣园图像也能达到较好的检测效果；提取到的定位参照点与人工标记树干中点的平均误差为8.85 cm，拟合导航线与人工观测导航线的平均偏差为4.90 cm，处理1帧图像平均耗时为0.044 s，能够满足果园内导航需求。     

基于改进YOLOv4模型的橙果识别与定位方法

为提高橙果采摘定位精度和作业速度,提出一种便于迁移至移动终端的改进YOLOv4模型,可从RealSense深度相机所成彩色图像中获取果实质心二维坐标,经配准提取对应深度图中质心点深度值,实现果实的三维空间定位。改进YOLOv4模型以MobileNet v2为主干网络,在颈部结构中使用深度可分离卷积替换普通卷积,实现模型轻量化并提高检测速度。训练后的改进模型对513张独立橙果测试集数据的识别平均精度达97.24%,与原始YOLOv4模型相比,平均检测时间减少11.39 ms,模型大小减少197.5 M。与经典Faster RCNN、SSD模型相比,检测平均精度分别提高了2.69和3.11个百分点,模型大小分别减少了474.5和44.1 M。与轻量化模型YOLOv4-tiny相比,召回率提升了4.22个百分点,较Ghostnet-YOLOv4,平均检测时间减少了7.15 ms。为验证该改进算法实用性,应用改进模型获取果园中78个橙果的位置信息,结果表明：果实二维识别成功率达98.72%,水平方向及垂直方向的平均绝对百分比误差均在1%以内。果实三维定位成功率达96.15%,深度信息平均绝对百分比误差为2.72%,满足采摘机械手精准定位需求。该方法为复杂场景下采摘作业实现提供了鲁棒性强、实时性好、精准度高的目标定位途径。     

基于改进YOLOv4模型的全景图像苹果识别

苹果果园由于密植栽培模式,果树之间相互遮挡,导致苹果果实识别效果差,并且普通的图像采集方式存在图像中果实重复采集的问题,使得果实计数不准确。针对此类问题,该研究采用全景拍摄的方式采集苹果果树图像,并提出了一种基于改进YOLOv4和基于阈值的边界框匹配合并算法的全景图像苹果识别方法。首先在YOLOv4主干特征提取网络的Resblock模块中加入scSE注意力机制,将PANet模块中的部分卷积替换为深度可分离卷积,且增加深度可分离卷积的输出通道数,以增强特征提取能力,降低模型参数量与计算量。将全景图像分割为子图像,采用改进的YOLOv4模型进行识别,通过对比Faster R-CNN、CenterNet、YOLOv4系列算法和YOLOv5系列算法等不同网络模型对全景图像的苹果识别效果,改进后的YOLOv4网络模型精确率达到96.19%,召回率达到了95.47%,平均精度达到97.27%,比原YOLOv4模型分别提高了1.07、2.59、2.02个百分点。采用基于阈值的边界框匹配合并算法,将识别后子图像的边界框进行匹配与合并,实现全景图像的识别,合并后的结果其精确率达到96.17%,召回率达到95.63%,F1分数达到0.96,平均精度达到95.06%,高于直接对全景图像苹果进行识别的各评价指标。该方法对自然条件下全景图像的苹果识别具有较好的识别效果。     

基于改进YOLOv8s的果实与叶片器官分割方法

为解决多器官特征识别存在的多器官数据集难以获取以及待处理数据集存在的密集小目标和多尺度目标等问题,该研究提出了一种基于改进YOLOv8s的果实与叶片器官分割方法。该方法以YOLOv8s为基础,在Backbone部分设计了跨阶段局部残差（residual CSPLayer 2Conv,RC2）模块,以拓宽每个网络层的感受野,使网络能充分提取密集的小目标特征。在Neck部分设计了尺度空间金字塔池化（scale spatial pyramid pooling,SSPP）模块,以充分融合网络的高阶多尺度特征信息,增强模型对多尺度目标的检测能力。在Head部分设计了非对称解耦检测头（asymmetric decoupling detection head,ADDH）模块,使模型分类更关注于中心内容,而回归更关注于边缘信息。试验结果表明,在PlantCLEF2022公共数据集中选取的17种果树的数据集中,改进的YOLOv8s模型对果树果实和叶片器官识别的平均精度均值为90.2%,比YOLOv8s模型高6.7个百分点。此外,该研究还将该模型应用到自建的枣数据集上,达到了99.1%的识别准确率,较原模型提升6.6个百分点,证明了所提出方法的通用性,可为常见果树的器官分割与基于多器官特征的细粒度品种分类研究提供参考。     

改进YOLOv5s和迁移学习对番茄穴盘苗的分级检测

为了提高番茄穴盘苗分级检测精度,该研究提出了改进YOLOv5s目标检测模型,并通过迁移学习对番茄穴盘病苗识别精度进行优化。采用轻量级网络EfficientNetv2的Backbone部分作为特征提取网络,保留YOLOv5s中的SPPF空间金字塔池化模块,压缩模型参数数量以减少计算量;更改模型Neck部分原始上采样模块为CARAFE轻量级上采样模块,在引入很少参数量的情况下提高模型精度;同时将PANet替换为BiFPN,引入特征权重信息,增强不同尺度特征融合能力;引入有效多尺度注意力机制(efficient multi-scale attention,EMA),提高对番茄苗的关注,减少背景干扰;替换CIoU损失函数为SIoU损失函数,考虑真实框与预测框之间的方向匹配,提高模型收敛效果。试验结果表明,改进的YOLOv5s目标检测模型经过迁移学习训练后,平均精度均值达到95.6%,较迁移学习前提高了0.7个百分点;与原YOLOv5s模型相比,改进YOLOv5s模型平均精度均值提升2.6个百分点;改进YOLOv5s模型的参数量、计算量和权重大小分别为原YOLOv5s模型的53.1%、20.0%...     

用动态图层融合与纹理-灰度梯度能量模型的果树行识别

为解决果园机器视觉导航中果树行识别易受果园复杂环境干扰的问题,该研究提出一种采用动态选取融合因子对彩色图像与深度图像进行图层融合并采用纹理-灰度梯度能量模型进行图像分割的果树行视觉识别算法。首先,通过搭建立体视觉系统获取果园彩色图像与对应的深度图像,并基于饱和度（S）通道图像的灰度值选取动态融合因子,实现对果园彩色图像与深度图像的图层融合;然后,分别计算融合图像的纹理特征图像与灰度梯度特征图像,并建立纹理-灰度梯度结合的能量模型,基于模型能量最小原则进行树干与背景的分割;最后,以树干与地面交点为果树行特征点进果树行直线拟合,完成果树行角度的识别。并对上述算法分别进行果树行识别试验与移动作业平台视觉对行导航试验。果树行识别试验结果表明,该研究算法果树行角度识别平均偏差为2.81°,与基于纹理、灰度梯度特征的果树行识别算法相比识别平均偏差分别降低2.37°和1.25°。移动作业平台视觉导航试验结果表明,在作业平台速度为0.6 m/s时,对行行驶最大偏差为12.2 cm,平均偏差为5.94 cm。该研究提出的视觉导航算法可以满足果园移动作业平台视觉对行导航需求,研究成果将为基于机器视觉的果园自动导航系统的研究与优化奠定基础。     

基于改进YOLOv5s的轻量化蟹塘障碍物检测与定位方法

蟹塘中不定期放置不同类型、不同大小的养殖装置影响无人作业船的自动巡航作业,为了提高无人作业船的工作效率和安全性,该研究提出一种改进YOLOv5s的轻量化蟹塘障碍物检测模型,并结合深度相机对蟹塘障碍物进行定位。改进模型从平衡检测速度和检测精度的角度出发,首先将ShuffleNetV2轻量化网络作为主干特征提取网络,大幅缩减模型体积;其次在不增加计算量的同时引入SENet注意力机制,加强对蟹塘障碍物目标的特征感知;接着将SPPF模块改进为SPPFCSPC模块,增强不同尺度下蟹塘障碍物的检测效果;最后采用SIoU损失函数加速模型收敛,提高检测的准确性。改进模型结合RealSense D435i深度相机获取的彩色图像对障碍物进行检测,并得到障碍物中心点在蟹塘坐标系下的三维坐标和障碍物的投影宽度。试验结果表明,改进模型对竹竿、蟹笼、增氧机3类障碍物具有良好的区分度和识别效果,与原始YOLOv5s模型相比,改进模型的参数量和计算量分别减小了62.8%和80.0%,模型大小仅为5.5 MB,单张图像的检测速度达15.2 ms,检测速度提升了44.5%,平均精度均值（mean average prec...     

基于超分辨率重建和Transformer的退化草地空斑定位方法

无人机补播是草地修复工作的有效手段之一。针对无人机作业过程中,空斑定位精度不高导致的效率低下、工作量大等问题,该研究提出一种基于无人机图像超分辨率重建和Transformer的退化草地空斑定位方法YOLOFG（YOLO for Gap）。基于YOLOv5s网络框架,在模型颈部设计联级特征纹理选择模块,强化模型特征纹理细节聚焦力,解决无人机空斑影像尺度变化大、纹理模糊问题;其次,以ShuffleNetV2构建主干网络,嵌入信息交互Transformer自注意力结构,提取像素间更多差异化特征,以提升模型对空斑边缘像素的精确捕获能力;最后,基于空斑锚框信息建立无人机位姿信息和空间平面的成像模型,实现目标空斑的精准定位。试验结果表明,YOLOFG模型平均精度均值为96.57%,相较于原始YOLOv5s模型提升3.84个百分点;参数量约为6.24 MB,比原始模型降低约11.2%。与YOLOv4、YOLOv7、YOLOv8模型相比,检测精度分别提高11.86、9.65、6.82个百分点。空斑定位的平均误差为0.4404 m,满足无人机作业对草地空斑精准定位的需求,可为开展退化草地植被恢复与重建工作提供有力技术支持。     

基于改进轻量化YOLOv4模型的虾只肉壳辨识方法

为实现虾只机械剥壳环节裸肉虾与带壳虾自动分选,该研究提出一种基于改进YOLOv4模型的虾只肉壳辨识方法。将YOLOv4模型中CSP-Darknet53网络替换为GhostNet网络,增强模型自适应特征提取能力及简化模型参数计算量。在YOLOv4主干特征提取网络Resblock模块中引入轻量级注意力机制,增强主干特征提取网络的特征提取能力。将YOLOv4模型中GIoU损失函数替换为CIoU损失函数,提高模型预测框的回归效果。为检测改进效果进行了不同模型对比验证,轻量化结果表明改进YOLOv4模型参数量最少、计算量最小;消融试验表明改进YOLOv4模型的平均精度均值为92.8%,比YOLOv4模型提升了6.1个百分点。不同场景下应用改进YOLOv4模型进行虾只肉壳辨识性能试验。结果表明：同品种不同环境的虾只肉壳辨识总体平均准确率为95.9 %,同品种不同剥壳方式的虾只肉壳辨识准确率平均值为90.4 %,不同品种虾只肉壳辨识准确率平均值为87.2 %。研究结果可为裸肉虾与带壳虾自动分选提供技术支撑。     

基于改进YOLOv7的杨梅树单木检测

为了快速检测和统计杨梅树的数量,该研究提出了一种基于改进YOLOv7的杨梅树单木检测模型：YOLOv7-ACGDmix。首先,对YOLOv7的可扩展高效长程注意力网络（extended-efficient long-range attention networks, E-ELAN）进行改进,通过融合兼具卷积和注意力机制优势的ACmix（a mixed model that enjoys the benefit of both self-attention and convolution）结构得到AC-E-ELAN模块,提升模型的学习和推理能力,引入可变形卷积（deformable convolutional networks version 2, DCNv2）结构得到DCNv2-E-ELAN模块,增强模型对不同尺寸目标的提取能力;其次,采用内容感知特征重组（content-aware reassembly of features, CARAFE）上采样模块,提高模型对重要特征的提取能力;然后,在主干和头部网络部分添加全局注意力机制（global-attention mechanism, GAM）,强化特征中的语义信息和位置信息,提高模型特征融合能力;最后,采用WIoU（wise intersection over union）损失函数减少因正负样本数据不平衡造成的干扰,增强模型的泛化性。在公开数据集上的试验结果表明,YOLOv7-ACGDmix模型的精确率达到89.1%,召回率达到89.0%,平均精度均值（mean average precision, mAP）达到95.1%,F₁-score达到89.0%,相比于原YOLOv7模型分别提高1.8、4.0、2.3和3.0个百分点。与Faster R-CNN、SSD、YOLOv8模型相比,改进模型的平均精度均值（mAP_0.5）分别提高了9.8、2.2、0.7个百分点。实地采集杨梅树样本数据的检测精确率87.3%、召回率85.7%。试验表明,改进模型为基于无人机影像的杨梅树单木检测提供了一种有效的解决方案,对果园精准管理的发展具有重要意义。     

快速精准识别棚内草莓的改进YOLOv4-Tiny模型

为了实现棚内草莓果实的快速精准识别,该研究提出一种基于改进YOLOv4-Tiny的草莓检测模型。首先,为了大幅度减少模型计算量,采用轻量型网络GhostNet作为特征提取网络,并在GhostBottleneck结构中嵌入卷积注意力模块以加强网络的特征提取能力;其次,在颈部网络中添加空间金字塔池化模块和特征金字塔网络结构,融合多尺度特征提升小目标草莓的检测效果;最后,采用高效交并比损失作为边界框回归损失函数,加速网络收敛并提高模型的检测准确率。结果表明,改进YOLOv4-Tiny模型权重大小仅为4.68 MB,平均每幅图片的检测时间为5.63 ms,在测试集上的平均精度均值达到92.62%,相较于原YOLOv4-Tiny模型提升了5.77个百分点。与主流的目标检测模型SSD、CenterNet、YOLOv3、YOLOv4和YOLOv5s相比,改进YOLOv4-Tiny模型平均精度均值分别高出9.11、4.80、2.26、1.22、1.91个百分点,并且模型权重大小和检测速度方面均具有绝对优势,该研究可为后续果实智能化采摘提供技术支撑。     

基于改进型YOLOv4-LITE轻量级神经网络的密集圣女果识别

对密集圣女果遮挡、粘连等情况下的果实进行快速识别定位,是提高设施农业环境下圣女果采摘机器人工作效率和产量预测的关键技术之一,该研究提出了一种基于改进YOLOv4-LITE轻量级神经网络的圣女果识别定位方法。为便于迁移到移动终端,该方法使用MobileNet-v3作为模型的特征提取网络构建YOLOv4-LITE网络,以提高圣女果果实目标检测速度;为避免替换骨干网络降低检测精度,通过修改特征金字塔网络（Feature Pyramid Networks,FPN）+路径聚合网络（Path Aggregation Network,PANet）的结构,引入有利于小目标检测的104×104尺度特征层,实现细粒度检测,在PANet结构中使用深度可分离卷积代替普通卷积降低模型运算量,使网络更加轻量化;并通过载入预训练权重和冻结部分层训练方式提高模型的泛化能力。通过与YOLOv4在相同遮挡或粘连程度的测试集上的识别效果进行对比,用调和均值、平均精度、准确率评价模型之间的差异。试验结果表明：在重叠度为0.50时所提出的密集圣女果识别模型在全部测试集上调和均值、平均精度和准确率分别为0.99、99.74%和99.15%,同比YOLOv4分别提升了0.15、8.29、6.55个百分点,权重大小为45.3 MB,约为YOLOv4的1/5,对单幅416×416（像素）图像的检测,在图形处理器（Graphics Processing Unit,GPU）上速度可达3.01 ms/张。因此,该研究提出的密集圣女果识别模型具有识别速度快、识别准确率高、轻量化等特点,可为设施农业环境下圣女果采摘机器人高效工作以及圣女果产量预测提供有力的保障。     

融合卷积神经网络与视觉注意机制的苹果幼果高效检测方法

果实表型数据高通量、自动获取是果树新品种育种研究的基础,实现幼果精准检测是获取生长数据的关键。幼果期果实微小且与叶片颜色相近,检测难度大。为了实现自然环境下苹果幼果的高效检测,采用融合挤压激发块（Squeeze-and-Excitation block, SE block）和非局部块（Non-Local block, NL block）两种视觉注意机制,提出了一种改进的YOLOv4网络模型（YOLOv4-SENL）。YOLOv4模型的骨干网络提取高级视觉特征后,利用SE block在通道维度整合高级特征,实现通道信息的加强。在模型改进路径聚合网络（Path Aggregation Network, PAN）的3个路径中加入NL block,结合非局部信息与局部信息增强特征。SE block和NL block两种视觉注意机制从通道和非局部两个方面重新整合高级特征,强调特征中的通道信息和长程依赖,提高网络对背景与果实的特征捕捉能力。最后由不同尺寸的特征图实现不同大小幼果的坐标和类别计算。经过1 920幅训练集图像训练,网络在600幅测试集上的平均精度为96.9%,分别比SSD、Faster R-CNN和YOLOv4模型的平均精度提高了6.9百分点、1.5百分点和0.2百分点,表明该算法可准确地实现幼果期苹果目标检测。模型在480幅验证集的消融试验结果表明,仅保留YOLOv4-SENL中的SE block比YOLOv4模型精度提高了3.8百分点;仅保留YOLOv4-SENL中3个NL block视觉注意模块比YOLOv4模型的精度提高了2.7百分点;将YOLOv4-SENL中SE block与NL blocks相换,比YOLOv4模型的精度提高了4.1百分点,表明两种视觉注意机制可在增加少量参数的基础上显著提升网络对苹果幼果的感知能力。该研究结果可为果树育种研究获取果实信息提供参考。