复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割,该研究提出了一种基于SOLO的绿色果实优化分割算法。首先,利用分离注意力网络（ResNeSt）设计SOLO算法的主干网络,用于提取绿色果实特征;其次,为更好地应对绿色果实特征的多尺度问题,引入特征金字塔网络（Feature Pyramid Networks,FPN）,构造ResNeSt+FPN组合结构;最后,将SOLO算法分为类别预测和掩码生成2个分支,类别预测分支在预测语义类别的同时,掩码生成分支实现了对绿色果实的实例分割。试验结果表明,优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%,平均每张绿色果实图像在图形处理器（Graphics Processing Unit,GPU）上的分割时间为0.14 s。通过对比试验可知,优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法（Optimized Mask Region Convolutional Neural Network,Optimized Mask R-CNN）、SOLO算法、掩膜区域卷积神经网络算法（Mask Region Convolutional Neural Network,Mask R-CNN）和全卷积实例感知语义分割算法（Fully Convolutional Instance-aware Semantic Segmentation,FCIS）提高了1.63、1.74、2.23和6.52个百分点,精确率分别提高了1.10、1.47、2.61和6.75个百分点,分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴,扩展果园测产和机器采摘的应用范围。     

机器人采摘苹果果实的K-means和GA-RBF-LMS神经网络识别

为进一步提升苹果果实的识别精度和速度,从而提高苹果采摘机器人的采摘效率。提出一种基于K-means聚类分割和基于遗传算法(genetic algorithm,GA)、最小均方差算法(least mean square,LMS)优化的径向基(radial basis function,RBF)神经网络相结合的苹果识别方法。首先将采集到的苹果图像在Lab颜色空间下利用K-means聚类算法对其进行分割,分别提取分割图像的RGB、HSI颜色特征分量和圆方差、致密度、周长平方面积比、Hu不变矩形状特征分量。将提取的16个特征作为神经网络的输入,对RBF神经网络进行训练,以得到苹果果实的识别模型。针对RBF神经网络学习率低、过拟合等不足,引入遗传算法对RBF隐层神经元个数和连接权值进行优化,采取二者混合编码同时进化的优化方式,最后再利用LMS对连接权值进一步学习,建立新的神经网络优化模型(GA-RBF-LMS),以提高神经网络的运行效率和识别精度。为了获得更精确的网络模型,在训练过程中,苹果果实连同树枝、树叶一块训练;得到的模型在识别过程中,可一定程度上避免枝叶遮挡对果实识别的影响。为了更好地验证新方法,分别与传统的BP(back propagation)和RBF神经网络、GA-RBF优化模型比较,结果表明,该文算法对于遮挡、重叠果实的识别率达95.38%、96.17%,总体识别率达96.95%;从训练时间看,该文算法虽耗时较长,用150个样本进行训练平均耗时4.412 s,但训练成功率可达100%,且节省了人工尝试构造网络结构造成的时间浪费;从识别时间看,该文算法识别179个苹果的时间为1.75 s。可见GA-RBF-LMS网络模型在运行效率和识别精度较优。研究结果为苹果采摘机器人快速、精准识别果实提供参考。     

基于改进YOLOv5s和迁移学习的苹果果实病害识别方法

为实现对苹果果实病害的快速准确识别,提出了一种基于改进YOLOv5s的果实病害识别模型：GHTR2-YOLOv5s （YOLOv5s with Ghost structure and TR2 module）,并通过迁移学习策略对其进行优化。在YOLOv5s基础上通过加入幻影结构和调整特征图整体宽度得到小型基线模型,通过卷积块注意力模块（Convolutional Block Attention Module, CBAM）和加权双向特征金字塔网络（Bidirectional Feature Pyramid Network, BIFPN）提高模型精度,使用TR2（Two Transformer）作为检测头增强模型对全局信息的获取能力。改进后模型大小和识别速度为2.06 MB和0.065 s/张,分别为YOLOv5s模型的1/6和2.5倍;IoU阈值为0.5下的平均精度均值（mAP0.5）达到0.909,能快速准确地识别苹果果实病害。研究通过在线图像增强与迁移学习相结合的方式提高模型收敛速度,进一步提高模型精度,其mAP0.5达到0.916,较原始模型提升8.5%。试验结果表明,该研究提出的基于GHTR2-YOLOv5s和迁移学习的苹果病害识别方法有效优化了模型训练过程,实现了占用较少计算资源的情况下对苹果病害进行快速准确地识别。     

改进YOLOv5s和迁移学习对番茄穴盘苗的分级检测

为了提高番茄穴盘苗分级检测精度,该研究提出了改进YOLOv5s目标检测模型,并通过迁移学习对番茄穴盘病苗识别精度进行优化。采用轻量级网络EfficientNetv2的Backbone部分作为特征提取网络,保留YOLOv5s中的SPPF空间金字塔池化模块,压缩模型参数数量以减少计算量;更改模型Neck部分原始上采样模块为CARAFE轻量级上采样模块,在引入很少参数量的情况下提高模型精度;同时将PANet替换为BiFPN,引入特征权重信息,增强不同尺度特征融合能力;引入有效多尺度注意力机制(efficient multi-scale attention,EMA),提高对番茄苗的关注,减少背景干扰;替换CIoU损失函数为SIoU损失函数,考虑真实框与预测框之间的方向匹配,提高模型收敛效果。试验结果表明,改进的YOLOv5s目标检测模型经过迁移学习训练后,平均精度均值达到95.6%,较迁移学习前提高了0.7个百分点;与原YOLOv5s模型相比,改进YOLOv5s模型平均精度均值提升2.6个百分点;改进YOLOv5s模型的参数量、计算量和权重大小分别为原YOLOv5s模型的53.1%、20.0%和53.6%,便于后期将模型部署到边缘设备中;与Faster-RCNN、CenterNet及YOLO系列目标检测模型相比,改进YOLOv5s模型在检测精度和检测速度方面均有明显优势,该研究成果可以为穴盘苗的分级检测提供依据。     

融合轻量化网络与注意力机制的果园环境下苹果检测方法

为提高复杂果园环境下苹果检测的综合性能，降低检测模型大小，通过对单阶段检测网络YOLOX-Tiny的拓扑结构进行了优化与改进，提出了一种适用于复杂果园环境下轻量化苹果检测模型（Lightweight Apple Detection YOLOX-Tiny Network，Lad-YXNet）。该模型引入高效通道注意力（Efficient Channel Attention，ECA）和混洗注意力（Shuffle Attention，SA）两种轻量化视觉注意力模块，构建了混洗注意力与双卷积层（Shuffle Attention and Double Convolution Layer，SDCLayer）模块，提高了检测模型对背景与果实特征的提取能力，并通过测试确定Swish与带泄露修正线性单元（Leaky Rectified Linear Unit，Leaky-ReLU）作为主干与特征融合网络的激活函数。通过消融试验探究了Mosaic增强方法对模型训练的有效性，结果表明图像长宽随机扭曲对提高模型综合检测性能贡献较高，但图像随机色域变换由于改变训练集中苹果的颜色，使模型检测综合性能下降。为提高模型检测苹果的可解释性，采用特征可视化技术提取了Lad-YXNet模型的主干、特征融合网络和检测网络的主要特征图，探究了Lad-YXNet模型在复杂自然环境下检测苹果的过程。Lad-YXNet经过训练在测试集下的平均精度为94.88%，分别比SSD、YOLOV4-Tiny、YOLOV5-Lite和YOLOX-Tiny模型提高了3.10个百分点、2.02个百分点、2.00个百分点和0.51个百分点。Lad-YXNet检测一幅图像的时间为10.06 ms，模型大小为16.6 MB，分别比YOLOX-Tiny减少了20.03%与18.23%。该研究为苹果收获机器人在复杂果园环境下准确、快速地检测苹果提供了理论基础。     

基于深度学习与目标跟踪的苹果检测与视频计数方法

基于机器视觉技术自动检测苹果树上的果实并进行计数是实现果园产量测量和智慧果园生产管理的关键。该研究基于现代种植模式下的富士苹果视频,提出基于轻量级目标检测网络YOLOv4-tiny和卡尔曼滤波跟踪算法的苹果检测与视频计数方法。使用YOLOv4-tiny检测视频中的苹果,对检测到的果实采用卡尔曼滤波算法进行预测跟踪,基于欧氏距离和重叠度匹配改进匈牙利算法对跟踪目标进行最优匹配。分别对算法的检测性能、跟踪性能和计数效果进行试验,结果表明：YOLOv4-tiny模型的平均检测精度达到94.47%,在果园视频中的检测准确度达到96.15%;基于改进的计数算法分别达到69.14%和79.60%的多目标跟踪准确度和精度,较改进前算法分别提高了26.86和20.78个百分点;改进后算法的平均计数精度达到81.94%。该研究方法可有效帮助果农掌握园中苹果数量,为现代化苹果园的测产研究提供技术参考,为果园的智慧管理提供科学决策依据。     

基于改进RetinaNet的果园复杂环境下苹果检测

为了快速准确地检测重叠、遮挡等果园复杂环境下的苹果果实目标,该研究提出一种基于改进RetinaNet的苹果检测网络。首先,该网络在传统RetinaNet的骨干网络ResNet50中嵌入Res2Net模块,提高网络对苹果基础特征的提取能力;其次,采用加权双向特征金字塔网络（Bi-directional Feature Pyramid Network,BiFPN）对不同尺度的特征进行加权融合,提升对小目标和遮挡目标的召回率;最后,采用基于焦损失（Focal Loss）和高效交并比损失（Efficient Intersection over Union Loss,EIoU Loss）的联合损失函数对网络进行优化,提高网络的检测准确率。试验结果表明,改进的网络在测试集上对叶片遮挡、枝干/电线遮挡、果实遮挡和无遮挡的苹果检测精度分别为94.02%、86.74%、89.42%和94.84%,平均精度均值（mean Average Precision,mAP）达到91.26%,较传统RetinaNet提升了5.02个百分点,检测一张苹果图像耗时42.72 ms。与Faster-RCNN和YOLOv4等主流目标检测网络相比,改进网络具有优异的检测精度,同时可以满足实时性的要求,为采摘机器人的采摘策略提供了参考。     

基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法

柑橘识别是实现柑橘园果实自动采摘、果树精细化管理以及实现果园产量预测的关键技术环节。为实现自然环境下柑橘果实的快速精准识别,该文提出一种基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法。在采摘机器人领域,果实识别回归框的准确率直接决定了机器手的采摘成功率,该方法通过引入GIo U边框回归损失函数来提高果实识别回归框准确率;为便于迁移到移动终端,提出一种YOLOv3-LITE轻量级网络模型,使用MobileNet-v2作为模型的骨干网络;使用混合训练与迁移学习结合的预训练方式来提高模型的泛化能力。通过与Faster-RCNN以及SSD模型对比在不同遮挡程度的测试样本下模型的识别效果,用F1值与AP值评估各模型的差异,试验结果表明:该文提出的模型识别效果提升显著,对于果实轻度遮挡的数据集,该文提出的柑橘识别模型的F1值和AP值分别为95.27%和92.75%,Average IoU为88.65%;在全部测试集上,F1值和AP值分别为93.69%和91.13%,AverageIoU为87.32%,在GPU上对柑橘目标检测速度可达246帧/s,对单张416×416的图片推断速度为16.9 ms,在CPU上检测速度可达22帧/s,推断速度为80.9 ms,模型占用内存为28 MB。因此,该文提出的柑橘识别方法具有模型占用内存低、识别准确率高及识别速度快等优点,可为柑橘采摘机器人以及柑橘产业产量预测提出新的解决方案,为柑橘产业智能化提供新的思路。     

基于改进FCOS网络的自然环境下苹果检测

为了快速识别和准确定位自然环境下苹果果实目标，提出了一种改进全卷积单阶段无锚框（Fully Convolutional One-Stage Object Detection，FCOS）网络的苹果目标检测方法。该网络在传统FCOS网络基础上，使用模型体积较小的darknet19作为骨干网络，将center-ness分支引入到回归分支上。同时提出了一种融合联合交并比（GIoU）和焦点损失（Focal loss）的损失函数，在提高检测性能的同时降低正负样本比例失衡带来的误差。首先，对田间采集的自然环境下的苹果图像进行数据增强和标注，使用darknet骨干网络提取图像特征，然后将不同尺度待检测目标分配到不同的网络层中进行预测，最后进行分类和回归，实现苹果目标的检测。该研究在计算机工作站上对不同光照条件、不同密集程度和不同遮挡程度的苹果果实进行检测试验，并与传统FCOS网络的检测结果进行对比分析。基于改进FCOS网络的检测准确率为96.0%，检测精度均值（mean Average Precision，mAP）为96.3%。试验结果表明，改进FCOS网络比传统FCOS网络的苹果检测方法在检测准确度上有提高，具有较强的鲁棒性。     

基于机械特性BP神经网络的苹果贮藏品质预测

应用L－M优化算法BP神经网络，通过用苹果机械特性指标(压缩时的最大力、屈服力、弹性模量)预测苹果贮藏品质(硬度、水分、可溶性固形物、总酸)的方法，建立贮藏品质的人工神经网络模型。用试验所测的机械特性指标为输入，苹果贮藏品质为输出来确定网络的拓扑结构，训练建立的BP神经网络。仿真结果表明：该神经网络模型用机械特性指标能预测苹果贮藏品质，同时通过5组非样本数据来验证该神经网络，模型的预测值与实测值的相对误差在5%以下，能够满足工程应用中预测苹果贮藏品质的精度要求。     

基于RGB和深度双模态的温室番茄图像语义分割模型

图像语义分割作为计算机视觉领域的重要技术，已经被广泛用于设施环境下的植物表型检测、机器人采摘、设施场景解析等领域。由于温室环境下未成熟番茄果实与其茎叶之间具有相似颜色，会导致图像分割精度不高等问题。本研究提出一种基于混合Transformer编码器的“RGB+深度”（RGBD）双模态语义分割模型DFST（depth-fusion semantic transformer），试验在真实温室光照情况下获得深度图像，对深度图像做HHA编码并结合彩色图像输入模型进行训练，经过HHA编码的深度图像可以作为一种辅助模态与RGB图像进行融合并进行特征提取，利用轻量化的多层感知机解码器对特征图进行解码，最终实现图像分割。试验结果表明，DFST模型在测试集的平均交并比可达96.99%，对比不引入深度图像的模型，其平均交并比提高了1.37个百分点；对比使用卷积神经网络作为特征提取主干网络的RGBD语义分割模型，其平均交并比提高了2.43个百分点。结果证明，深度信息有助于提高彩色图像的语义分割精度，可以明显提高复杂场景语义分割的准确性和鲁棒性，同时也证明了Transformer结构作为特征提取网络在图像语义分割中也表现出了良好的性能，可为温室环境下的番茄图像语义分割任务提供解决方案和技术支持。     

未成熟芒果的改进YOLOv2识别方法

在果园场景下,由于光照的多样性、背景的复杂性及芒果与树叶颜色的高度相似性,特别是树叶和枝干对果实遮挡及果实重叠,给未成熟芒果检测带来极大的挑战。本文提出果园场景下未成熟芒果的改进YOLOv2检测方法。设计新的带密集连接的Tiny-yolo网络结构,实现网络多层特征的复用和融合,提高检测精度。为克服遮挡重叠果实检测困难,手工标注遮挡或重叠芒果的前景区域,然后用样本的前景区域训练YOLOv2网络,减小边界框内非前景区域特征的干扰,增强对目标前景区域卷积特征的学习。并以扩增的数据集,采用增大输入尺度和多尺度策略训练网络。最后,对本文方法进行性能评价与对比试验。试验结果表明,该方法在测试集上,芒果目标检测速度达83帧/s,准确率达97.02%,召回率达95.1%。对比Faster RCNN,该方法在杂物遮挡和果实重叠等复杂场景下,检测性能显著提升。     

快速精准识别棚内草莓的改进YOLOv4-Tiny模型

为了实现棚内草莓果实的快速精准识别,该研究提出一种基于改进YOLOv4-Tiny的草莓检测模型。首先,为了大幅度减少模型计算量,采用轻量型网络GhostNet作为特征提取网络,并在GhostBottleneck结构中嵌入卷积注意力模块以加强网络的特征提取能力;其次,在颈部网络中添加空间金字塔池化模块和特征金字塔网络结构,融合多尺度特征提升小目标草莓的检测效果;最后,采用高效交并比损失作为边界框回归损失函数,加速网络收敛并提高模型的检测准确率。结果表明,改进YOLOv4-Tiny模型权重大小仅为4.68 MB,平均每幅图片的检测时间为5.63 ms,在测试集上的平均精度均值达到92.62%,相较于原YOLOv4-Tiny模型提升了5.77个百分点。与主流的目标检测模型SSD、CenterNet、YOLOv3、YOLOv4和YOLOv5s相比,改进YOLOv4-Tiny模型平均精度均值分别高出9.11、4.80、2.26、1.22、1.91个百分点,并且模型权重大小和检测速度方面均具有绝对优势,该研究可为后续果实智能化采摘提供技术支撑。     

改进Faster-RCNN自然环境下识别刺梨果实

为了实现自然环境下刺梨果实的快速准确识别,根据刺梨果实的特点,该文提出了一种基于改进的Faster RCNN刺梨果实识别方法。该文卷积神经网络采用双线性插值方法,选用FasterRCNN的交替优化训练方式(alternating optimization),将卷积神经网络中的感兴趣区域池化(ROI pooling)改进为感兴趣区域校准(ROI align)的区域特征聚集方式,使得检测结果中的目标矩形框更加精确。通过比较Faster RCNN框架下的VGG16、VGG_CNN_M1024以及ZF 3种网络模型训练的精度-召回率,最终选择VGG16网络模型,该网络模型对11类刺梨果实的识别精度分别为94.00%、90.85%、83.74%、98.55%、96.42%、98.43%、89.18%、90.61%、100.00%、88.47%和90.91%,平均识别精度为92.01%。通过对300幅自然环境下随机拍摄的未参与识别模型训练的刺梨果实图像进行检测,并选择以召回率、准确率以及F1值作为识别模型性能评价的3个指标。检测结果表明:改进算法训练出来的识别模型对刺梨果实的11种形态的召回率最低为81.40%,最高达96.93%;准确率最低为85.63%,最高达95.53%;F1值最低为87.50%,最高达94.99%。检测的平均速度能够达到0.2 s/幅。该文算法对自然条件下刺梨果实的识别具有较高的正确率和实时性。     

基于改进YOLOv3的果园复杂环境下苹果果实识别

为使采摘机器人能够全天候的在不同光照、重叠遮挡、大视场等果园复杂环境下对不同成熟度的果实进行快速、准确的识别，该研究提出了一种基于改进YOLOv3的果实识别方法。首先，将DarkNet53网络中的残差模块与CSPNet（Cross Stage Paritial Network）结合，在保持检测精度的同时降低网络的计算量；其次，在原始YOLOv3模型的检测网络中加入SPP（Spatial Pyramid Pooling）模块，将果实的全局和局部特征进行融合，提高对极小果实目标的召回率；同时，采用Soft NMS（Soft Non-Maximum Suppression）算法代替传统NMS（Non-Maximum Suppression）算法，增强对重叠遮挡果实的识别能力；最后，采用基于Focal Loss和CIoU Loss的联合损失函数，对模型进行优化，提高识别精度。以苹果为例进行的试验结果表明：经过数据集训练之后的改进模型，在测试集下的MAP（Mean Average Precision）值达到96.3%，较原模型提高了3.8个百分点；F1值达到91.8%，较原模型提高了3.8个百分点；在GPU下的平均检测速度达到27.8帧/s，较原模型提高了5.6帧/s。与Faster RCNN、RetinaNet等几种目前先进的检测方法进行比较并在不同数目、不同光照情况下的对比试验结果表明，该方法具有优异的检测精度及良好的鲁棒性和实时性，对解决复杂环境下果实的精准识别问题具有重要参考价值。     

基于级联视觉检测的樱桃番茄自动采收系统设计与试验

樱桃番茄串生长姿态多样、果实成熟度不一，采摘机器人进行“粒收”作业时，常面临果梗干涉末端执行器、成熟度判断错误等问题，导致采摘效率低下、难以有效实现分级采收。针对上述问题，该研究提出一种级联视觉检测流程，包括采收目标检测、目标果实特性判别、果实与果梗位置关系判断3个关键环节。首先根据农艺要求按成熟度将番茄果实分为4个等级，引入YOLOv5目标检测模型对番茄串和番茄果实进行检测并输出成熟度等级，实现分期采收。然后对果实与果梗的相对位置进行判断，利用MobileNetv3网络模型对膨胀包围盒进行果实与果梗相对位置关系判断，实现末端执行器采摘位姿控制。日光温室实际测试结果表明，本文提出的级联检测系统平均推理用时22ms，在IOU(intersectionoverunion)阈值为0.5的情况下，樱桃番茄串与果实的平均检测精度达到89.9%，满足采摘机器人的视觉检测精度和实时性要求，相比末端执行器以固定角度靠近待采目标的方法，本文方法采收效率提升28.7个百分点。研究结果可为各类果蔬采摘机器人研究提供参考。     

基于TMU-Net网络的苹果果心分割方法

针对苹果内在品质检测过程中传统测量果心大小方法效率低、准确性差等问题,该研究提出一种基于TMU-Net网络自动分割果心的方法,将Transformer编码器融入U-Net网络结构中,构建改进U型卷积网络TMU-Net模型。模型由特征提取模块、特征处理模块、解码器、特征拼接模块组成,以VGG-16前13层作为主干特征提取网络,在跳跃连接中叠加多重残差空洞卷积（Multiple Residual Dilated Convolution,MRDC）模块,增大感受野的同时增强了模型对底层特征提取能力。采用数据增强技术对果心数据集扩充后,利用迁移学习方法冻结特定的网络层,对TMU-Net模型进行训练。试验结果表明：引入迁移学习并使用最佳训练方式使模型分割精确率提高了22.48个百分点;TMU-Net网络模型在果心分割任务中实现了96.72%的精确率,与U-Net、PSPNet、DeeplabV3+网络对比,精确率分别提升了14.28、9.98、7.15个百分点。该方法能够精准、有效地实现果心分割,可为实现苹果内在品质智能检测提供参考。     

基于目标像素变化的柚果单目测距算法

针对山地果园光线变化和枝叶遮挡干扰果实距离检测的问题,该研究提出一种利用目标区域像素数量变化预测成像距离的算法。根据单目测距原理和柚果成像特性,以具备尺寸和形状代表性的离树柚果样本为研究对象,在采摘作业距离范围内利用单一相机以固定间隔步距对果实某一侧面连续获取图像数据,用以建立并验证目标区域像素数量变化与成像距离变化之间的多元回归关系。随后将该算法应用于果园中树上柚果样本以检验其适用性,并讨论初始成像距离和步距取值对测距精度的影响。研究结果表明,在125 cm以内,6个树上柚果样本的测距相对误差均低于5%,满足采摘机械手目标定位的精度要求;初始成像距离对该算法测距精度具有显著影响。该研究单目测距算法满足果园环境中柚果目标与相机间距离检测需求,为相关采摘机械手的柚果目标识别提供了一种可行方案。