融合卷积神经网络与视觉注意机制的苹果幼果高效检测方法

果实表型数据高通量、自动获取是果树新品种育种研究的基础,实现幼果精准检测是获取生长数据的关键。幼果期果实微小且与叶片颜色相近,检测难度大。为了实现自然环境下苹果幼果的高效检测,采用融合挤压激发块(Squeeze-and-Excitation block, SE block)和非局部块(Non-Local block, NL block)两种视觉注意机制,提出了一种改进的YOLOv4网络模型(YOLOv4-SENL)。YOLOv4模型的骨干网络提取高级视觉特征后,利用SE block在通道维度整合高级特征,实现通道信息的加强。在模型改进路径聚合网络(Path Aggregation Network, PAN)的3个路径中加入NL block,结合非局部信息与局部信息增强特征。SE block和NL block两种视觉注意机制从通道和非局部两个方面重新整合高级特征,强调特征中的通道信息和长程依赖,提高网络对背景与果实的特征捕捉能力。最后由不同尺寸的特征图实现不同大小幼果的坐标和类别计算。经过1 920幅训练集图像训练,网络在600幅测试集上的平均精度为96.9%,分别比SSD、Faster R-CNN和YOLOv4模型的平均精度提高了6.9百分点、1.5百分点和0.2百分点,表明该算法可准确地实现幼果期苹果目标检测。模型在480幅验证集的消融试验结果表明,仅保留YOLOv4-SENL中的SE block比YOLOv4模型精度提高了3.8百分点;仅保留YOLOv4-SENL中3个NL block视觉注意模块比YOLOv4模型的精度提高了2.7百分点;将YOLOv4-SENL中SE block与NL blocks相换,比YOLOv4模型的精度提高了4.1百分点,表明两种视觉注意机制可在增加少量参数的基础上显著提升网络对苹果幼果的感知能力。该研究结果可为果树育种研究获取果实信息提供参考。     

基于YOLOv5m和CBAM-CPN的单分蘖水稻植株表型参数提取

为快速获取单分蘖水稻植株的形态结构和表型参数，该研究提出了一种基于目标检测和关键点检测模型相结合的骨架提取和表型参数获取方法。该方法基于目标检测模型生成穗、茎秆、叶片的边界框和类别，将所得数据分别输入到关键点检测模型检测各部位关键点，按照语义信息依次连接关键点形成植株骨架，依据关键点坐标计算穗长度、茎秆长度、叶片长度、叶片-茎秆夹角4种表型参数。首先，构建单分蘖水稻的关键点检测和目标检测数据集；其次，训练Faster R-CNN、YOLOv3、YOLOv5s、YOLOv5m目标检测模型，经过对比，YOLOv5m的检测效果最好，平均精度均值（mean average precision，mAP）达到91.17%；然后，应用人体姿态估计的级联金字塔网络（cascaded pyramid network，CPN）提取植株骨架，并引入注意力机制CBAM（convolutional block attention module）进行改进，与沙漏网络（hourglass networks，HN）、堆叠沙漏网络模型（stacked hourglass networks，SHN）和CPN模型相比，CBAM-CPN模型的预测准确率分别提高了9.68、8.83和0.5个百分点，达到94.75%，4种表型参数的均方根误差分别为1.06、0.81、1.25 cm和2.94°。最后，结合YOLOv5m和CBAM-CPN进行预测，4种表型参数的均方根误差分别为1.48 、1.05 、1.74 cm和2.39°，与SHN模型相比，误差分别减小1.65、3.43、2.65 cm和4.75°，生成的骨架基本能够拟合单分蘖水稻植株的形态结构。所提方法可以提高单分蘖水稻植株的关键点检测准确率，更准确地获取植株骨架和表型参数，有助于加快水稻的育种和改良。     

基于改进轻量化YOLOv4模型的虾只肉壳辨识方法

为实现虾只机械剥壳环节裸肉虾与带壳虾自动分选,该研究提出一种基于改进YOLOv4模型的虾只肉壳辨识方法。将YOLOv4模型中CSP-Darknet53网络替换为GhostNet网络,增强模型自适应特征提取能力及简化模型参数计算量。在YOLOv4主干特征提取网络Resblock模块中引入轻量级注意力机制,增强主干特征提取网络的特征提取能力。将YOLOv4模型中GIoU损失函数替换为CIoU损失函数,提高模型预测框的回归效果。为检测改进效果进行了不同模型对比验证,轻量化结果表明改进YOLOv4模型参数量最少、计算量最小;消融试验表明改进YOLOv4模型的平均精度均值为92.8%,比YOLOv4模型提升了6.1个百分点。不同场景下应用改进YOLOv4模型进行虾只肉壳辨识性能试验。结果表明：同品种不同环境的虾只肉壳辨识总体平均准确率为95.9 %,同品种不同剥壳方式的虾只肉壳辨识准确率平均值为90.4 %,不同品种虾只肉壳辨识准确率平均值为87.2 %。研究结果可为裸肉虾与带壳虾自动分选提供技术支撑。     

通过图像增强与改进Faster-RCNN网络的重叠鱼群尾数检测

利用目标检测获取水下鱼类图像中的生物信息,对于实现水产养殖信息化、智能化有重要意义。受到成像设备与水下拍摄环境等因素的影响,重叠鱼群尾数检测仍为水下目标检测领域的难点之一。该研究以水下重叠鱼群图像为研究对象,提出了一种基于图像增强与改进Faster-RCNN网络的重叠鱼群尾数检测模型。在图像预处理部分,该研究利用MSRCR算法结合自适应中值滤波算法进行水下图像增强;在Faster-RCNN网络的改进部分,该研究采用ResNeXt101网络作为模型主干网络、增加带有CBAM（Convolution Block Attention Module）注意力机制的Bi-PANet（Bilinear-Path Aggregation Network）路径聚合网络、使用PAM（Partitioning Around Medoids）聚类算法优化网络初始预测框的尺度和数量、以Soft-NMS（Soft Non-Maximum Suppression）算法替代NMS（Non-Maximum Suppression）算法。通过以上措施提高模型对于重叠鱼群尾数的检测精度。通过消融试验可得,改进后的模型对水下重叠鱼群图像的平均检测精度和平均召回率分别为76.8%和85.4%,两项指标较Faster-RCNN模型分别提高了8.4个百分点和13.2个百分点。通过对多种模型的实际试验结果进行对比可知,改进后的模型的平均准确率相较于YOLOv3-spp、SSD300和YOLOv5x6分别高出32.9个百分点、12.3个百分点和6.7个百分点。改进后的模型对重叠数量为2～5尾的鱼群进行数量检测时,成功率分别为80.4%、75.6%、65.1%和55.6%,明显高于其他目标检测算法,可为重叠鱼群尾数检测提供参考。     

快速精准识别棚内草莓的改进YOLOv4-Tiny模型

为了实现棚内草莓果实的快速精准识别,该研究提出一种基于改进YOLOv4-Tiny的草莓检测模型。首先,为了大幅度减少模型计算量,采用轻量型网络GhostNet作为特征提取网络,并在GhostBottleneck结构中嵌入卷积注意力模块以加强网络的特征提取能力;其次,在颈部网络中添加空间金字塔池化模块和特征金字塔网络结构,融合多尺度特征提升小目标草莓的检测效果;最后,采用高效交并比损失作为边界框回归损失函数,加速网络收敛并提高模型的检测准确率。结果表明,改进YOLOv4-Tiny模型权重大小仅为4.68 MB,平均每幅图片的检测时间为5.63 ms,在测试集上的平均精度均值达到92.62%,相较于原YOLOv4-Tiny模型提升了5.77个百分点。与主流的目标检测模型SSD、CenterNet、YOLOv3、YOLOv4和YOLOv5s相比,改进YOLOv4-Tiny模型平均精度均值分别高出9.11、4.80、2.26、1.22、1.91个百分点,并且模型权重大小和检测速度方面均具有绝对优势,该研究可为后续果实智能化采摘提供技术支撑。     

利用改进的YOLOv5s检测莲蓬成熟期

为解决莲田环境下不同成熟期莲蓬的视觉感知问题,该研究提出了一种改进YOLOv5s的莲蓬成熟期检测方法。首先,通过在主干特征网络中引入BoT(bottleneck transformer)自注意力机制模块,构建融合整体与局部混合特征的映射结构,增强不同成熟期莲蓬的区分度;其次,采用高效交并比损失函数EIoU(efficient IoU)提高了边界框回归定位精度,提升模型的检测精度;再者,采用K-means++聚类算法优化初始锚框尺寸的计算方法,提高网络的收敛速度。试验结果表明,改进后YOLOv5s模型在测试集下的精确率P、召回率R、平均精度均值mAP分别为98.95%、97.00%、98.30%,平均检测时间为6.4ms,模型尺寸为13.4M。与YOLOv3、 YOLOv3-tiny、 YOLOv4-tiny、 YOLOv5s、YOLOv7检测模型对比,平均精度均值mAP分别提升0.2、1.8、1.5、0.5、0.9个百分点。基于建立的模型,该研究搭建了莲蓬成熟期视觉检测试验平台,将改进YOLOv5s模型部署在移动控制器Raspberry Pi 4B中,对4种距离范围下获取的莲蓬场景图像...     

改进YOLOv5识别复杂环境下棉花顶芽

为提高复杂环境下棉花顶芽识别的精确率,提出了一种基于YOLOv5s的改进顶芽识别模型。建立了田间复杂环境下棉花顶芽数据集,在原有模型结构上增加目标检测层,提高了浅层与深层的特征融合率,避免信息丢失。同时加入CPP-CBAM注意力机制与SIOU边界框回归损失函数,进一步加快模型预测框回归,提升棉花顶芽检测准确率。将改进后的目标检测模型部署在Jetson nano开发板上,并使用TensorRT对检测模型加速,测试结果显示,改进后的模型对棉花顶芽识别平均准确率达到了92.8%。与Fast R-CNN、YOLOv3、YOLOv5s、YOLOv6等算法相比,平均准确率分别提升了2.1、3.3、2、2.4个百分点,该检测模型适用于复杂环境下棉花顶芽的精准识别,为后续棉花机械化精准打顶作业提供技术理论支持。     

基于改进YOLOv4模型的橙果识别与定位方法

为提高橙果采摘定位精度和作业速度,提出一种便于迁移至移动终端的改进YOLOv4模型,可从RealSense深度相机所成彩色图像中获取果实质心二维坐标,经配准提取对应深度图中质心点深度值,实现果实的三维空间定位。改进YOLOv4模型以MobileNet v2为主干网络,在颈部结构中使用深度可分离卷积替换普通卷积,实现模型轻量化并提高检测速度。训练后的改进模型对513张独立橙果测试集数据的识别平均精度达97.24%,与原始YOLOv4模型相比,平均检测时间减少11.39 ms,模型大小减少197.5 M。与经典Faster RCNN、SSD模型相比,检测平均精度分别提高了2.85和3.30个百分点,模型大小分别减少了474.5和44.1 M。与轻量化模型YOLOv4-tiny相比,召回率提升了4.79个百分点,较Ghostnet-YOLOv4,检测速度提升了27.64个百分点。为验证该改进算法实用性,应用改进模型获取果园中78个橙果的位置信息,结果表明：果实二维识别成功率达98.72%,水平方向及垂直方向的平均绝对百分比误差均在1%以内。果实三维定位成功率达96.15%,深度信息平均绝对百分比误差为2.72%,满足采摘机械手精准定位需求。该方法为复杂场景下采摘作业实现提供了鲁棒性强、实时性好、精准度高的目标定位途径。     

基于改进YOLOv5s的苹果叶片小目标病害轻量化检测方法

为解决自然环境中苹果叶片病害检测场景复杂、小目标病害检测难度高以及模型参数大无法在移动端和嵌入式设备部署等问题,提出一种基于YOLOv5s的苹果叶片小目标病害轻量化检测方法。该方法将YOLOv5s的骨干网络更改为ShuffleNet v2轻量化网络,引入CBAM（convolutional block attention module）注意力模块使模型关注苹果叶片小目标病害,添加改进RFB-s（receptive field block-s）支路获取多尺度特征,提高苹果叶片病害检测精度,并更改边界框回归损失函数为SIoU（scylla-intersection over union）,增强病斑定位能力。试验表明改进后的YOLOv5s模型在IoU大于0.5时的平均精度均值（mean average precision,mAP_0.5）和每秒传输帧数（frame per second,FPS）分别达到90.6%和175帧/s,对小目标的平均检测准确率为38.2%,与基准模型YOLOv5s相比,其mAP_0.5提升了0.8个百分点,参数量减少了6.17 MB,计算量减少了13.8 G,对小目标的检测准确率提高了3个百分点。改进后的YOLOv5s目标检测模型与Faster R-CNN、SSD、YOLOv5m、YOLOv7、YOLOv8和YOLOv5s目标检测模型相比,具有最小的参数量和计算量,对小目标病害叶斑病和锈病的检测准确率分别提高了1.4、4.1、0.5、5.7、3.5、3.9和1.5、4.3、1.2、2.1、4、2.6个百分点,该方法为真实自然环境下苹果叶片病害尤其是小目标病害的轻量化检测提供参考依据。     

基于深度学习与目标跟踪的苹果检测与视频计数方法

基于机器视觉技术自动检测苹果树上的果实并进行计数是实现果园产量测量和智慧果园生产管理的关键。该研究基于现代种植模式下的富士苹果视频,提出基于轻量级目标检测网络YOLOv4-tiny和卡尔曼滤波跟踪算法的苹果检测与视频计数方法。使用YOLOv4-tiny检测视频中的苹果,对检测到的果实采用卡尔曼滤波算法进行预测跟踪,基于欧氏距离和重叠度匹配改进匈牙利算法对跟踪目标进行最优匹配。分别对算法的检测性能、跟踪性能和计数效果进行试验,结果表明：YOLOv4-tiny模型的平均检测精度达到94.47%,在果园视频中的检测准确度达到96.15%;基于改进的计数算法分别达到69.14%和79.60%的多目标跟踪准确度和精度,较改进前算法分别提高了26.86和20.78个百分点;改进后算法的平均计数精度达到81.94%。该研究方法可有效帮助果农掌握园中苹果数量,为现代化苹果园的测产研究提供技术参考,为果园的智慧管理提供科学决策依据。     

利用Re-YOLOv5和检测区域搜索算法获取大豆植株表型参数

为了解决目标检测区域中冗余信息过多导致无法准确检测大豆分枝的缺陷,同时快速获取大豆植株表型参数,该研究提出了一种基于Re-YOLOv5和检测区域搜索算法的大豆植株表型参数获取方法。Re-YOLOv5引入圆形平滑标签技术（Circular Smooth Label,CSL）实现旋转目标检测,解决了传统目标检测中检测区域冗余信息过多导致无法准确检测大豆分枝的缺陷,并加入协调注意力机制（Coordinate Attention,CA）获取目标位置信息以提升检测精度,此外,将原始骨干网络中的3×3卷积结构替换为RepVGG结构进一步增强模型的特征提取能力。基于Re-YOLOv5提出一种检测区域搜索算法（Detection Area Search,DAS）,该算法将检测到的大豆分枝区域作为待搜索区域,通过该区域中的茎节点坐标信息判断各分枝的茎节点,然后将其进行顺序连接,重构大豆植株骨架,最终获取相关的表型参数。试验结果表明,Re-YOLOv5可以实现检测旋转目标的能力,而且在各项性能指标上都优于YOLOv5,其mAP提升了1.70个百分点,参数量下降0.17 M,针对茎节点的检测精确率提升了9.90个百分点,检测小目标的能力明显增强。检测区域搜索算法也能够准确地定位每个分枝上的茎节点从而重构大豆植株骨架,并得到比较准确的大豆植株表型参数,其中,株高、茎节点数、大豆分枝数的平均绝对误差分别为2.06 cm、1.37个和0.03个,在能够满足实际采集的精度要求的同时,也为获取大豆植株表型信息提供参考。     

基于YOLOv4模型剪枝的番茄缺陷在线检测

为解决番茄缺陷检测过程中的精确性和实时性问题,该研究提出一种基于模型剪枝的番茄表面缺陷实时检测方法。采用模型剪枝的方法在YOLOv4网络模型基础上进行模型优化,首先将3个连续检测工位采集的RGB图像拼接生成YOLOv4网络的输入图像,然后采用通道剪枝和层剪枝的方法压缩YOLOv4网络模型,从而减少模型参数,提高检测速度,最后提出一种基于L1范数的非极大值抑制方法,用于在模型微调后去除冗余预测框,从而精准定位图像中的缺陷位置,并将模型部署到分级系统上进行实时检测试验。结果表明,该研究提出的YOLOv4P网络与原YOLOv4网络相比,网络模型尺寸和推理时间分别减少了232.40 MB和10.11 ms,平均精度均值（Mean Average Precision,mAP）从92.45%提高到94.56%,能满足实际生产中针对缺陷番茄进行精准、实时检测的要求,为番茄分级系统提供了高效的实时检测方法。     

基于改进YOLOv8的轻量化小麦病害检测方法

为提高小麦病害检测精度,实现将模型方便快速部署到移动端,该研究提出了一种基于改进YOLOv8的轻量化小麦病害检测方法。首先,使用PP-LCNet模型替换YOLOv8网络结构的骨干网络,并在骨干网络层引入深度可分离卷积（depthwise separable convolution, DepthSepConv）结构,减少模型参数量,提升模型检测性能;其次,在颈部网络部分添加全局注意力机制（global attention mechanism, GAM）模块,强化特征中语义信息和位置信息,提高模型特征融合能力;然后,引入轻量级通用上采样内容感知重组（content-aware reassembly of features,CARAFE）模块,提高模型对重要特征的提取能力;最后,使用Wise-IoU(weighted interpolation of sequential evidence for intersection over union)边界损失函数代替原损失函数,提升网络边界框回归性能和对小目标病害的检测效果。试验结果表明,对于大田环境下所采集的小麦病害数据集,改进后模型的参数量及...     

基于轻量型卷积神经网络的马铃薯种薯芽眼检测算法

马铃薯种薯芽眼属于小目标物体,识别难度大、要求高。为了在试验台(芽眼识别装置)上快速、准确地完成识别任务,该研究提出一种基于轻量型卷积神经网络的芽眼检测模型。首先,为了降低模型的计算量和聚焦小目标物体,替换YOLOv4的主干网络CSPDarkNet-53为GhostNetV2轻量型特征提取网络;其次,在YOLOv4的颈部网络中,使用深度可分离卷积(depthwise separable convolution,DW)模块代替普通卷积块进一步降低模型计算量;最后,更改边界框损失函数为具有角度代价的边界框损失函数(SIoU),避免因预测框的位置不确定,而影响模型收敛速度和整体检测性能。结果表明,改进后芽眼检测模型参数量为12.04 M,使用笔记本电脑CPU检测单张图片的时间为0.148 s,从试验台收集的测试数据显示平均精度为89.13%。相对于其他主干特征提取网络CSPDarkNet-53、MobileNetV1、MobileNetV2、MobileNetV3、GhostNetV1,其检测精度分别高出1.85、0.75、2.67、4.17、1.89个百分点;与同类目标检测模型SSD、Fa...     

基于改进YOLOv3的果树树干识别和定位

为提高果园机器人自主导航和果园作业的质量、效率,该研究提出一种基于改进YOLOv3算法对果树树干进行识别,并通过双目相机进行定位的方法。首先,该算法将SENet注意力机制模块融合至Darknet53特征提取网络的残差模块中,SENet模块可增强有用特征信息提取,压缩无用特征信息,进而得到改进后残差网络模块SE-Res模块;其次,通过K-means聚类算法将原始YOLOv3模型的锚框信息更新。果树树干定位通过双目相机的左、右相机对图像进行采集,分别传输至改进YOLOv3模型中进行果树树干检测,并输出检测框的信息,再通过输出的检测框信息对左、右相机采集到的果树树干进行匹配;最后,通过双目相机三角定位原理对果树树干进行定位。试验表明,该方法能较好地对果树树干进行识别和定位,改进YOLOv3模型平均精确率和平均召回率分别为97.54%和91.79%,耗时为0.046 s/帧。在果树树干定位试验中,横向和纵向的定位误差均值分别为0.039 和0.266 m,误差比均值为3.84%和2.08%;与原始YOLOv3和原始SSD模型相比,横向和纵向的定位误差比均值分别降低了15.44、14.17个百分点和21.58、20.43个百分点。研究结果表明,该方法能够在果园机器人自主导航、开沟施肥、割草和农药喷洒等作业中进行果树识别和定位,为提高作业效率、保障作业质量奠定理论基础。     

基于改进型YOLOv4的果园障碍物实时检测方法

针对农业机器人在复杂的果园环境中作业时需要精确快速识别障碍物的问题,该研究提出了一种改进型的YOLOv4目标检测模型对果园障碍物进行分类和识别。为了减少改进后模型的参数数量并提升检测速度,该研究使用了深度可分离卷积代替模型中原有的标准卷积,并将主干网络CSP-Darknet中的残差组件(Residual Unit)改进为逆残差组件(Inverted Residual Unit)。此外,为了进一步增强模型对目标密集区域的检测能力,使用了软性非极大值抑制(Soft DIoU-Non-Maximum Suppression,Soft-DIoU-NMS)算法。为了验证该研究所提方法的有效性,选取果园中常见的3种障碍物作为检测对象制作图像数据集,在Tensorflow深度学习框架上训练模型。然后将测试图片输入训练好的模型中检测不同距离下的目标障碍物,并在同一评价指标下,将该模型的测试结果与改进前YOLOv4模型的测试结果进行评价对比。试验结果表明,改进后的YOLOv4果园障碍物检测模型的平均准确率和召回率分别为96.92%和91.43%,视频流检测速度为58.5帧/s,相比于原模型,改进后的模型在不损失精度的情况下,将模型大小压缩了75%,检测速度提高了29.4%。且改进后的模型具有鲁棒性强、实时性更好、轻量化的优点,能够更好地实现果园环境下障碍物的检测,为果园智能机器人的避障提供了有力的保障。     

采用改进的YOLOv5s检测花椒簇

为实现花椒簇的快速准确检测,该研究提出了一种基于改进YOLOv5s的花椒簇检测模型。首先,使用MBConv(MobileNetV3 block convolution,MBConv)模块和基于ReLU的轻量级自注意力机制优化了EfficientViT网络,用其代替YOLOv5s的主干,减少模型的参数量、增强模型对重要特征的表达能力。其次,在模型的训练过程中采用了OTA(optimal transport assignment)标签分配策略,优化训练中的标签分配结果。最后,使用WIoU损失函数对原损失函数CIoU进行替换,提高锚框的质量。试验结果表明,改进YOLOv5s模型的平均准确度均值(mean average precision,mAP)为97.3%、参数量为5.9 M、检测速度为131.6帧/s。相较于YOLOv5s模型,mAP提升1.9个百分点、参数量降低15.7%、检测速度提高14.5%。结果表明,该研究提出的改进YOLOv5s模型准确度高、参数量低、检测速度快,可实现对花椒簇的有效检测。     

基于深度学习的菜用大豆荚型表型识别方法

人工智能在农业上的应用是目前的研究热点,在作物的高通量表型组学研究方面具有很好的应用前景。为了对种质资源和育种中间材料的表型进行精准化、智能化、高通量的采集,本研究将最新的目标检测算法和传统的图像处理方法相结合,将基于YOLOv5和图像处理的智能数据采集技术应用于菜用大豆荚型表型的识别。结果发现,该技术能够自动化、批量化地提取一张图片内单粒荚、双粒荚、三粒荚和四粒荚的个数,并获取这些豆荚的长宽数值。通过与实际的豆荚粒数进行对比发现,本研究方法的最大平均精度达98.96%以上,高于传统的深度学习分类网络;与实际的长宽数据进行对比,长宽决定系数均在95.23%以上。本研究所采取的基于深度学习的智能数据采集技术具有识别速度快、精准度高的优势,能大幅降低人工测量的时间成本和人力成本,提高品种选育的工作效率,为菜用大豆荚型的表型性状的高通量、智能化和精准化获取提供了一种新技术。