基于改进YOLOv3的果树树干识别和定位

为提高果园机器人自主导航和果园作业的质量、效率,该研究提出一种基于改进YOLOv3算法对果树树干进行识别,并通过双目相机进行定位的方法。首先,该算法将SENet注意力机制模块融合至Darknet53特征提取网络的残差模块中,SENet模块可增强有用特征信息提取,压缩无用特征信息,进而得到改进后残差网络模块SE-Res模块;其次,通过K-means聚类算法将原始YOLOv3模型的锚框信息更新。果树树干定位通过双目相机的左、右相机对图像进行采集,分别传输至改进YOLOv3模型中进行果树树干检测,并输出检测框的信息,再通过输出的检测框信息对左、右相机采集到的果树树干进行匹配;最后,通过双目相机三角定位原理对果树树干进行定位。试验表明,该方法能较好地对果树树干进行识别和定位,改进YOLOv3模型平均精确率和平均召回率分别为97.54%和91.79%,耗时为0.046 s/帧。在果树树干定位试验中,横向和纵向的定位误差均值分别为0.039 和0.266 m,误差比均值为3.84%和2.08%;与原始YOLOv3和原始SSD模型相比,横向和纵向的定位误差比均值分别降低了15.44、14.17个百分点和21.58、20.43个百分点。研究结果表明,该方法能够在果园机器人自主导航、开沟施肥、割草和农药喷洒等作业中进行果树识别和定位,为提高作业效率、保障作业质量奠定理论基础。     

基于改进YOLOv5s的轻量化蟹塘障碍物检测与定位方法

蟹塘中不定期放置不同类型、不同大小的养殖装置影响无人作业船的自动巡航作业,为了提高无人作业船的工作效率和安全性,该研究提出一种改进YOLOv5s的轻量化蟹塘障碍物检测模型,并结合深度相机对蟹塘障碍物进行定位。改进模型从平衡检测速度和检测精度的角度出发,首先将ShuffleNetV2轻量化网络作为主干特征提取网络,大幅缩减模型体积;其次在不增加计算量的同时引入SENet注意力机制,加强对蟹塘障碍物目标的特征感知;接着将SPPF模块改进为SPPFCSPC模块,增强不同尺度下蟹塘障碍物的检测效果;最后采用SIoU损失函数加速模型收敛,提高检测的准确性。改进模型结合RealSense D435i深度相机获取的彩色图像对障碍物进行检测,并得到障碍物中心点在蟹塘坐标系下的三维坐标和障碍物的投影宽度。试验结果表明,改进模型对竹竿、蟹笼、增氧机3类障碍物具有良好的区分度和识别效果,与原始YOLOv5s模型相比,改进模型的参数量和计算量分别减小了62.8%和80.0%,模型大小仅为5.5 MB,单张图像的检测速度达15.2 ms,检测速度提升了44.5%,平均精度均值（mean average prec...     

采用改进YOLOv5的蕉穗识别及其底部果轴定位

为提高香蕉采摘机器人的作业效率和质量,实现机器人末端承接机构的精确定位,该研究提出一种基于YOLOv5算法的蕉穗识别,并对蕉穗底部果轴进行定位的方法。将CA（Coordinate Attention）注意力机制融合到主干网络中,同时将C3（Concentrated-Comprehensive Convolution Block）特征提取模块与CA注意力机制模块融合构成C3CA模块,以此增强蕉穗特征信息的提取。用 EIoU（Efficient Intersection over Union）损失对原损失函数CIoU（Complete Intersection over Union）进行替换,加快模型收敛并降低损失值。通过改进预测目标框回归公式获取试验所需定位点,并对该点的相机坐标系进行转换求解出三维坐标。采用D435i深度相机对蕉穗底部果轴进行定位试验。识别试验表明,与YOLOv5、Faster R-CNN等模型相比,改进YOLOv5模型的平均精度值（mean Average Precision, mAP）分别提升了0.17和21.26个百分点;定位试验表明,采用改进YOLOv5模型对蕉穗底部果轴定位误差均值和误差比均值分别为0.063 m和2.992%,与YOLOv5和Faster R-CNN模型相比,定位误差均值和误差比均值分别降低了0.022 m和1.173%,0.105 m和5.054%。试验实时可视化结果表明,改进模型能对果园环境下蕉穗进行快速识别和定位,保证作业质量,为后续水果采摘机器人的研究奠定了基础。     

基于改进型YOLOv4的果园障碍物实时检测方法

针对农业机器人在复杂的果园环境中作业时需要精确快速识别障碍物的问题,该研究提出了一种改进型的YOLOv4目标检测模型对果园障碍物进行分类和识别。为了减少改进后模型的参数数量并提升检测速度,该研究使用了深度可分离卷积代替模型中原有的标准卷积,并将主干网络CSP-Darknet中的残差组件(Residual Unit)改进为逆残差组件(Inverted Residual Unit)。此外,为了进一步增强模型对目标密集区域的检测能力,使用了软性非极大值抑制(Soft DIoU-Non-Maximum Suppression,Soft-DIoU-NMS)算法。为了验证该研究所提方法的有效性,选取果园中常见的3种障碍物作为检测对象制作图像数据集,在Tensorflow深度学习框架上训练模型。然后将测试图片输入训练好的模型中检测不同距离下的目标障碍物,并在同一评价指标下,将该模型的测试结果与改进前YOLOv4模型的测试结果进行评价对比。试验结果表明,改进后的YOLOv4果园障碍物检测模型的平均准确率和召回率分别为96.92%和91.43%,视频流检测速度为58.5帧/s,相比于原模型,改进后的模型在不损失精度的情况下,将模型大小压缩了75%,检测速度提高了29.4%。且改进后的模型具有鲁棒性强、实时性更好、轻量化的优点,能够更好地实现果园环境下障碍物的检测,为果园智能机器人的避障提供了有力的保障。     

快速精准识别棚内草莓的改进YOLOv4-Tiny模型

为了实现棚内草莓果实的快速精准识别,该研究提出一种基于改进YOLOv4-Tiny的草莓检测模型。首先,为了大幅度减少模型计算量,采用轻量型网络GhostNet作为特征提取网络,并在GhostBottleneck结构中嵌入卷积注意力模块以加强网络的特征提取能力;其次,在颈部网络中添加空间金字塔池化模块和特征金字塔网络结构,融合多尺度特征提升小目标草莓的检测效果;最后,采用高效交并比损失作为边界框回归损失函数,加速网络收敛并提高模型的检测准确率。结果表明,改进YOLOv4-Tiny模型权重大小仅为4.68 MB,平均每幅图片的检测时间为5.63 ms,在测试集上的平均精度均值达到92.62%,相较于原YOLOv4-Tiny模型提升了5.77个百分点。与主流的目标检测模型SSD、CenterNet、YOLOv3、YOLOv4和YOLOv5s相比,改进YOLOv4-Tiny模型平均精度均值分别高出9.11、4.80、2.26、1.22、1.91个百分点,并且模型权重大小和检测速度方面均具有绝对优势,该研究可为后续果实智能化采摘提供技术支撑。     

采用改进YOLOv4-tiny的复杂环境下番茄实时识别

实时识别番茄的成熟度是番茄自主采摘车的关键功能。现有目标识别算法速度慢、对遮挡番茄和小番茄识别准确率低。因此,该研究提出一种基于改进YOLOv4-tiny模型的番茄成熟度识别方法。在头部网络（Head network）部分增加一个76×76的检测头（y3）来提高小番茄的识别准确率。为了提高被遮挡番茄的识别准确率,将卷积注意力模块（Convolution Block Attention Module,CBAM）集成到YOLOv4-tiny模型的骨干网络（Backbone network）部分。在深层卷积中使用Mish激活函数替代ReLU激活函数以保证提取特征的准确性。使用密集连接的卷积网络（Densely Connected Convolution Networks, DCCN）来加强全局特征融合,并建立红风铃番茄成熟度识别的数据集。试验结果表明,与YOLOv3、YOLOv4、YOLOv4-tiny、YOLOv5m和YOLOv5l模型相比,改进YOLOv4-tiny-X模型的平均精度均值（mean Average Precision, mAP）分别提高了30.9、0.2、0.7、5.4和4.9个百分点,在Nvidia GTX 2060 GPU 上达到111帧/s的速度,平均精度均值达到97.9%。不同模型的实时测试可视化结果表明,改进模型能够有效解决遮挡和小番茄识别准确率低的问题,可为番茄采摘车研制提供参考。     

利用改进的YOLOv5s检测莲蓬成熟期

为解决莲田环境下不同成熟期莲蓬的视觉感知问题,该研究提出了一种改进YOLOv5s的莲蓬成熟期检测方法。首先,通过在主干特征网络中引入BoT(bottleneck transformer)自注意力机制模块,构建融合整体与局部混合特征的映射结构,增强不同成熟期莲蓬的区分度;其次,采用高效交并比损失函数EIoU(efficient IoU)提高了边界框回归定位精度,提升模型的检测精度;再者,采用K-means++聚类算法优化初始锚框尺寸的计算方法,提高网络的收敛速度。试验结果表明,改进后YOLOv5s模型在测试集下的精确率P、召回率R、平均精度均值mAP分别为98.95%、97.00%、98.30%,平均检测时间为6.4ms,模型尺寸为13.4M。与YOLOv3、 YOLOv3-tiny、 YOLOv4-tiny、 YOLOv5s、YOLOv7检测模型对比,平均精度均值mAP分别提升0.2、1.8、1.5、0.5、0.9个百分点。基于建立的模型,该研究搭建了莲蓬成熟期视觉检测试验平台,将改进YOLOv5s模型部署在移动控制器Raspberry Pi 4B中,对4种距离范围下获取的莲蓬场景图像...     

基于改进YOLOv5s的草莓多阶段识别检测轻量化算法

为解决草莓采摘过程中被遮挡及目标较小情况下漏检的问题,同时提升草莓的识别精度与计算速率,该研究提出了一种基于改进的轻量级Mobile-YOLOv5s草莓识别检测算法。首先,为了提高计算效率,使用了轻量化的MobileNetV3网络替代了原始的YOLOv5s主干网络,并引入了Alpha-IoU损失函数以加快模型的收敛速度,提高对重叠目标的识别准确率;其次,考虑到草莓目标较小的情况,使用K-Means++算法对原始YOLO的anchor进行重聚类,并增加了一个检测头,使其更加适应草莓的尺寸。试验结果表明,改进后的网络模型检测帧率为44帧/s,比原模型提升了15.7%;计算量为8.3×10⁹/s,比原模型降低了48%;模型大小为4.5 MB,比原模型降低了41.5%;成熟草莓检测精度为99.5%,均值平均精度为99.4%,相较于原YOLOv5s算法分别提高了3.6和9.2个百分点。改进后的模型可以更快速、准确地识别出各阶段的草莓,为草莓智能化采摘提供技术支撑。     

改进YOLOv5s和迁移学习对番茄穴盘苗的分级检测

为了提高番茄穴盘苗分级检测精度,该研究提出了改进YOLOv5s目标检测模型,并通过迁移学习对番茄穴盘病苗识别精度进行优化。采用轻量级网络EfficientNetv2的Backbone部分作为特征提取网络,保留YOLOv5s中的SPPF空间金字塔池化模块,压缩模型参数数量以减少计算量;更改模型Neck部分原始上采样模块为CARAFE轻量级上采样模块,在引入很少参数量的情况下提高模型精度;同时将PANet替换为BiFPN,引入特征权重信息,增强不同尺度特征融合能力;引入有效多尺度注意力机制(efficient multi-scale attention,EMA),提高对番茄苗的关注,减少背景干扰;替换CIoU损失函数为SIoU损失函数,考虑真实框与预测框之间的方向匹配,提高模型收敛效果。试验结果表明,改进的YOLOv5s目标检测模型经过迁移学习训练后,平均精度均值达到95.6%,较迁移学习前提高了0.7个百分点;与原YOLOv5s模型相比,改进YOLOv5s模型平均精度均值提升2.6个百分点;改进YOLOv5s模型的参数量、计算量和权重大小分别为原YOLOv5s模型的53.1%、20.0%...     

基于改进YOLOv4模型的全景图像苹果识别

苹果果园由于密植栽培模式,果树之间相互遮挡,导致苹果果实识别效果差,并且普通的图像采集方式存在图像中果实重复采集的问题,使得果实计数不准确。针对此类问题,该研究采用全景拍摄的方式采集苹果果树图像,并提出了一种基于改进YOLOv4和基于阈值的边界框匹配合并算法的全景图像苹果识别方法。首先在YOLOv4主干特征提取网络的Resblock模块中加入scSE注意力机制,将PANet模块中的部分卷积替换为深度可分离卷积,且增加深度可分离卷积的输出通道数,以增强特征提取能力,降低模型参数量与计算量。将全景图像分割为子图像,采用改进的YOLOv4模型进行识别,通过对比Faster R-CNN、CenterNet、YOLOv4系列算法和YOLOv5系列算法等不同网络模型对全景图像的苹果识别效果,改进后的YOLOv4网络模型精确率达到96.19%,召回率达到了95.47%,平均精度AP值达到97.27%,比原YOLOv4模型分别提高了1.07、2.59、2.02个百分点。采用基于阈值的边界框匹配合并算法,将识别后子图像的边界框进行匹配与合并,实现全景图像的识别,合并后的结果其精确率达到96.17%,召回率达到95.63%,F1分数达到0.96,平均精度AP值达到95.06%,高于直接对全景图像苹果进行识别的各评价指标。该方法对自然条件下全景图像的苹果识别具有较好的识别效果。     

基于空间金字塔池化和深度卷积神经网络的作物害虫识别

为了减少因作物害虫姿态多样性和尺度多样性导致其识别精度相对较低的问题,该文将空间金字塔池化与改进的YOLOv3深度卷积神经网络相结合,提出了一种基于空间金字塔池化的深度卷积神经网络农作物害虫种类识别算法,首先对测试图像上的害虫进行检测定位,然后对检测定位出的害虫进行种类识别。通过改进YOLOv3的网络结构,采用上采样与卷积操作相结合的方法实现反卷积,使算法能够有效地检测到图片中体型较小的作物害虫样本;通过对采集到的实际场景下20类害虫进行识别测试,识别精度均值可达到88.07%。试验结果表明,本文提出的识别算法能够有效地对作物害虫进行检测和种类识别。     

基于改进YOLOv4模型的橙果识别与定位方法

为提高橙果采摘定位精度和作业速度,提出一种便于迁移至移动终端的改进YOLOv4模型,可从RealSense深度相机所成彩色图像中获取果实质心二维坐标,经配准提取对应深度图中质心点深度值,实现果实的三维空间定位。改进YOLOv4模型以MobileNet v2为主干网络,在颈部结构中使用深度可分离卷积替换普通卷积,实现模型轻量化并提高检测速度。训练后的改进模型对513张独立橙果测试集数据的识别平均精度达97.24%,与原始YOLOv4模型相比,平均检测时间减少11.39 ms,模型大小减少197.5 M。与经典Faster RCNN、SSD模型相比,检测平均精度分别提高了2.85和3.30个百分点,模型大小分别减少了474.5和44.1 M。与轻量化模型YOLOv4-tiny相比,召回率提升了4.79个百分点,较Ghostnet-YOLOv4,检测速度提升了27.64个百分点。为验证该改进算法实用性,应用改进模型获取果园中78个橙果的位置信息,结果表明：果实二维识别成功率达98.72%,水平方向及垂直方向的平均绝对百分比误差均在1%以内。果实三维定位成功率达96.15%,深度信息平均绝对百分比误差为2.72%,满足采摘机械手精准定位需求。该方法为复杂场景下采摘作业实现提供了鲁棒性强、实时性好、精准度高的目标定位途径。     

基于改进YOLOv3-Tiny的番茄苗分级检测

为了提高番茄苗分选移栽分级检测精度,该研究提出了YOLOv3-Tiny目标检测改进模型。首先建立了番茄穴盘苗数据集,使用K-means++算法重新生成数据集锚定框,提高网络收敛速度和特征提取能力;其次为目标检测模型添加SPP空间金字塔池化,将穴孔局部和整体特征融合,提高了对弱苗的召回率;同时加入路径聚合网络（PANet）,提升细粒度检测能力;引入了SAM空间注意力机制,提高对番茄苗的关注,减少背景干扰;增加了ASFF（Adaptively Spatial Feature Fusion）自适应特征融合网络,能够使目标检测模型对多个级别的特征进行空间滤波;采用CIoU损失函数策略,提高模型收敛效果。改进的YOLOv3-Tiny目标检测模型经过数据集训练,在测试集上能够达到平均精度均值为97.64%,相比YOLOv3-Tiny模型提高了3.47个百分点。消融试验验证了网络结构改进和训练策略是有效的,并将改进的YOLOv3-Tiny目标检测算法与5种目标检测算法进行对比,发现改进的YOLOv3-Tiny目标检测模型在重合度阈值为50%的条件下平均精度均值为97.64%。单张图像处理时间为5.03 ms,较其他目标检测算法具有明显的优势,验证了该模型能够满足番茄苗分级检测精度要求,可以为幼苗分选检测方法提供参考。     

基于YOLOv5m和CBAM-CPN的单分蘖水稻植株表型参数提取

为快速获取单分蘖水稻植株的形态结构和表型参数，该研究提出了一种基于目标检测和关键点检测模型相结合的骨架提取和表型参数获取方法。该方法基于目标检测模型生成穗、茎秆、叶片的边界框和类别，将所得数据分别输入到关键点检测模型检测各部位关键点，按照语义信息依次连接关键点形成植株骨架，依据关键点坐标计算穗长度、茎秆长度、叶片长度、叶片-茎秆夹角4种表型参数。首先，构建单分蘖水稻的关键点检测和目标检测数据集；其次，训练Faster R-CNN、YOLOv3、YOLOv5s、YOLOv5m目标检测模型，经过对比，YOLOv5m的检测效果最好，平均精度均值（mean average precision，mAP）达到91.17%；然后，应用人体姿态估计的级联金字塔网络（cascaded pyramid network，CPN）提取植株骨架，并引入注意力机制CBAM（convolutional block attention module）进行改进，与沙漏网络（hourglass networks，HN）、堆叠沙漏网络模型（stacked hourglass networks，SHN）和CPN模型相比，CBAM-CPN模型的预测准确率分别提高了9.68、8.83和0.5个百分点，达到94.75%，4种表型参数的均方根误差分别为1.06、0.81、1.25 cm和2.94°。最后，结合YOLOv5m和CBAM-CPN进行预测，4种表型参数的均方根误差分别为1.48 、1.05 、1.74 cm和2.39°，与SHN模型相比，误差分别减小1.65、3.43、2.65 cm和4.75°，生成的骨架基本能够拟合单分蘖水稻植株的形态结构。所提方法可以提高单分蘖水稻植株的关键点检测准确率，更准确地获取植株骨架和表型参数，有助于加快水稻的育种和改良。     

基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位

为提高苹果采摘机器人的工作效率和环境适应性,使其能全天候的在不同光线环境下对遮挡、粘连和套袋等多种情况下的果实进行识别定位,该文提出了基于YOLOv3(you only look once)深度卷积神经网络的苹果定位方法。该方法通过单个卷积神经网络(one-stage)遍历整个图像,回归目标的类别和位置,实现了直接端到端的目标检测,在保证效率与准确率兼顾的情况下实现了复杂环境下苹果的检测。经过训练的模型在验证集下的m AP(meanaverageprecision)为87.71%,准确率为97%,召回率为90%,IOU(intersection over union)为83.61%。通过比较YOLOv3与Faster RCNN算法在不同数目、不同拍摄时间、不同生长阶段、不同光线下对苹果的实际检测效果,并以F1为评估值对比分析了4种算法的差异,试验结果表明YOLOv3在密集苹果的F1高于YOLOv2算法4.45个百分点,在其他环境下高于Faster RCNN将近5个百分点,高于HOG+SVM(histogram of oriented gradient+support vector machine)将近10个百分点。并且在不同硬件环境验证了该算法的可行性,一幅图像在GPU下的检测时间为16.69 ms,在CPU下的检测时间为105.21 ms,实际检测视频的帧率达到了60帧/s和15帧/s。该研究可为机器人快速长时间高效率在复杂环境下识别苹果提供理论基础。     

基于无人机图像和贝叶斯CSRNet模型的粘连云杉计数

自动、准确且快速地统计苗木数量是实现苗圃高效管理的重要基础。针对现有苗木计数方法准确率较低且无法准确统计粘连苗木等问题,该研究提出了一种基于贝叶斯CSRNet模型的云杉计数模型。该模型以对粘连苗木具有良好稳定性的CSRNet模型为基础,引入贝叶斯损失函数,以人工标注的点标签数据作为监督信号。以1 176幅云杉图像训练贝叶斯CSRNet模型,并通过166幅测试集云杉图像测试。结果表明,贝叶斯CSRNet模型可以准确、快速地统计无人机航拍图像内的云杉,对测试集图像内云杉的平均计数准确率（Mean Counting Accuracy,MCA）、平均绝对误差（Mean Absolute Error,MAE）和均方误差（Mean Square Error,MSE）分别为99.19%、1.42和2.80。单幅云杉图像耗时仅为248 ms,模型大小为62 Mb。对比YOLOv3模型、改进YOLOv3模型、CSRNet模型和贝叶斯CSRNet模型对166幅测试集云杉图像的计数结果,贝叶斯CSRNet模型的MCA分别比YOLOv3模型、改进YOLOv3模型、CSRNet模型高3.43%、1.44%和1.13%;贝叶斯CSRNet模型的MAE分别比YOLOv3模型、改进YOLOv3模型、CSRNet模型低6.8、2.9和1.67;贝叶斯CSRNet模型的MSE分别比YOLOv3模型、改进YOLOv3模型、CSRNet模型低101.74、23.48和8.57。在MCT和MS两项指标上,贝叶斯CSRNet模型与CSRNet模型相同且优于YOLOv3模型和改进YOLOv3模型。贝叶斯CSRNet模型可实现无人机航拍图像内苗木数量的自动、准确、快速统计,为苗木库存智能盘点提供参考。     

采用改进YOLOv3算法检测青皮核桃

使用机器视觉对果实检测并进行估产是实现果园智能化管理的重要途径,针对自然环境下青皮核桃与叶片颜色差异小、核桃体积较小导致青皮核桃不易检出的问题,提出一种基于改进YOLOv3的青皮核桃视觉检测方法。依据数据集特征进行数据增强,引入Mixup数据增强方法,该研究使模型从更深的维度学习核桃特征;针对核桃单种类目标检测比较不同预训练模型,选择精度提升更明显的Microsoft Common Objects in Context（COCO）数据集预训练模型;依据标注框尺寸统计对锚框进行调整,避免锚框集中,提升模型多尺度优势。在消融试验中,前期改进将平均精度均值提升至93.30%,在此基础上,引入MobilNet-v3骨干网络替换YOLOv3算法中原始骨干网络,提升模型检测能力及轻量化。试验表明,基于改进YOLOv3的青皮核桃检测平均精度均值为94.52%,超越YOLOv3其他2个骨干网络和Faster RCNN-ResNet-50网络。本文改进模型大小为88.6 M,检测速度为31帧/s,检测速度是Faster RCNN-ResNet-50网络的3倍,可以满足青皮核桃实时准确检测需求。该方法可为核桃果园智能化管理中的估产、采收规划等提供技术支撑,也可为近背景颜色的小果实实时准确检测提供思路。