基于改进YOLO v5的复杂环境下桑树枝干识别定位方法

为实现复杂自然环境下对桑树嫩叶处枝干的识别检测,改变当前桑叶采摘设备作业过程中依赖人工辅助定位的现状,解决识别目标姿态多样和环境复杂导致的低识别率问题,提出一种基于改进YOLO v5模型的桑树枝干识别模型(YOLO v5-mulberry),并结合深度相机构建定位系统。首先,在YOLO v5的骨干网络中加入CBAM(Convolutional block attention module)注意力机制,提高神经网络对桑树枝干的关注度;并增加小目标层使模型可检测4像素×4像素的目标,提高了模型检测小目标的性能;同时使用GIoU损失函数替换原始网络中的IoU损失函数,有效防止了预测框和真实框尺寸较小时无法正确反映预测框及真实框之间位置关系的情况;随后,完成深度图和彩色图的像素对齐,通过坐标系转换获取桑树枝干三维坐标。试验结果表明：YOLO v5-mulberry检测模型的平均精度均值为94.2%,较原模型提高16.9个百分点,置信度也提高12.1%;模型室外检测时应检测目标数53,实际检测目标数为48,检测率为90.57%;桑树嫩叶处枝干三维坐标识别定位系统的定位误差为(9.498 5 mm...     

基于改进YOLO v5的夜间温室番茄果实快速识别

为实现日光温室夜间环境下采摘机器人正常工作以及番茄快速识别,提出一种基于改进YOLO v5的夜间番茄果实的识别方法。采集夜间环境下番茄图像2 000幅作为训练样本,通过建立一种基于交并比的CIOU目标位置损失函数,对原损失函数进行改进,根据计算函数anchor生成自适应锚定框,确定最佳锚定框尺寸,构建改进型YOLO v5网络模型。试验结果表明,改进YOLO v5网络模型对夜间环境下番茄绿色果实识别精度、红色果实识别精度、综合平均识别精度分别为96.2%、97.6%和96.8%,对比CNN卷积网络模型及YOLO v5模型,提高了被遮挡特征物与暗光下特征物的识别精度,改善了模型鲁棒性。将改进YOLO v5网络模型通过编译将训练结果写入安卓系统制作快速检测应用软件,验证了模型对夜间环境下番茄果实识别的可靠性与准确性,可为番茄实时检测系统的相关研究提供参考。     

基于改进YOLO v5的复杂环境下花椒簇识别与定位方法

花椒树产果量大,枝干纵横交错,树叶茂密,给花椒的自动化采摘带来了困难。因此,本文设计一种基于改进YOLO v5的复杂环境下花椒簇的快速识别与定位方法。通过在主干提取网络CSPDarknet的CSPLayer层和Neck的上采样之后增加高效通道注意力ECA(Efficient channel attention)来简化CSPLayer层的计算量,提升了特征提取能力。同时在下采样层增加协同注意力机制CA(Coordinate attention),减少下采样过程中信息的损失,强化特征空间信息,配合热力图(Grad-CAM)和点云深度图,来完成花椒簇的空间定位。测试结果表明,与原YOLO v5相比较,改进的网络将残差计算减少至1次,保证了模型轻量化,提升了效率。同帧数区间下,改进后的网络精度为96.27%,对比3个同类特征提取网络YOLO v5、YOLO v5-tiny、Faster R-CNN,改进后网络精确度P分别提升5.37、3.35、15.37个百分点,连株花椒簇的分离识别能力也有较大提升。实验结果表明,自然环境下系统平均识别率为81.60%、漏检率为18.39%,能够满足花椒簇识别...     

基于深度学习的大田甘蓝在线识别模型建立与试验

针对大田蔬菜对靶施药过程中靶标难以精准识别定位的问题,以甘蓝为研究对象,进行基于深度学习的靶标在线识别方法与模型研究。对比3种当前性能较优的目标检测模型Faster R-CNN、SSD和YOLO v5s,选择YOLO v5s作为田间甘蓝识别迁移学习模型,提出一种MobileNet v3s主干特征提取网络与深度可分离卷积融合的YOLO-mdw大田甘蓝目标识别方法,实现复杂环境下的大田甘蓝实时识别;提出一种基于卡尔曼滤波和匈牙利算法的甘蓝目标定位方法,并将模型部署于NVIDIA Xavier NX开发板上。试验结果表明,YOLO-mdw识别模型在晴天、多云、阴雨天气条件下识别准确率分别为93.14%、94.75%和94.23%,图像处理时间为54.09 ms,相对于YOLO v5s模型用时缩短26.98%;速度不大于0.6 m/s时,识别准确率达94%,平均定位误差为4.13 cm,平均甘蓝直径识别误差为1.42 cm。该靶标识别系统能在大田复杂环境下对甘蓝进行实时识别定位,为对靶施药提供技术支持。     

褐菇无损采摘柔性手爪设计与试验

针对娇嫩褐菇自动化无损采摘易损的问题,首先分析了褐菇的生物学特性和力学特性,分别给出拔断和扭断采摘方式抓持力的约束方程,并优选出扭断式采摘方法;通过ANSYS对柔性手指夹持褐菇进行静力学分析,给出柔性手指指节数、褐菇直径及气压与抓持力之间的函数关系,建立评价函数,通过遗传算法优选出3指4指节的柔性手爪结构,以及18.65kPa的最优抓持控制气压;基于此设计3指4指节的柔性手爪,并进行褐菇采摘试验,结果表明,与刚性手爪相比,柔性手爪抓持力减小,为（2.4±0.3）N;刚性手爪采摘褐菇的抓握处切面5mm深度内均有损伤,且表面抓痕明显,而柔性手爪抓握处表面和内部均完好无损。说明所设计的3指4指节柔性手爪适于褐菇的自动化无损采摘。     

基于改进YOLO v5s的甘蔗切种茎节特征识别定位技术

为了实现甘蔗智能横向切种工作站的精准、高效的自动化切种,针对工厂化切种任务的特点,提出了一种基于改进YOLO v5s的甘蔗茎节特征边缘端识别与定位方法。首先,利用张正友相机标定法对摄像头进行畸变矫正;然后对甘蔗茎节数据集进行数据增强,利用原始的YOLO v5s模型进行训练和测试,结果显示数据增强能一定程度上提高检测精度。针对茎节特征目标小以及模型体积大导致检测精度低、部署难度高等问题,对YOLO v5s的骨干网络进行改进,在SPPF特征融合模块前引入坐标注意力(Coordinate attention, CA)模块和Ghost轻量化结构,在Head网络中剔除P5大目标检测头,得到了改进后甘蔗茎节检测模型YOLO v5s-CA-BackboneGhost-p34,测试结果表明该模型优于其他主流算法和原始模型,具有高精度、小体积等优势。其中,平均精度均值1和平均精度均值2分别提高5.2、16.5个百分点,模型浮点数计算量和内存占用量分别降低42%和51%。最后,为了提高检测速度和实时性,将模型部署于边缘端,利用TensorRT技术加快检测速度,并在传送速度为0.15 m/s的甘蔗智能横向切...     

基于SR300深度相机的褐蘑菇原位测量技术

褐蘑菇工厂化种植模式下,为了给蘑菇采摘机器人提供工作参数,采用结构光SR300深度相机采集菇床图像送入工控机进行原位测量。针对菇床上褐蘑菇的菌丝干扰背景,在深度图像中利用土壤表面深度的众数,结合蘑菇菌柄至少20mm的高度,自适应选择动态阈值,从菇床背景中提取蘑菇菌盖二值图;针对粘连的类圆形蘑菇,基于2-1圆形Hough变换初步检测其圆心、半径,进一步对蘑菇的边界点进行跟踪、去噪、插补,分割粘连的蘑菇,准确拟合单体蘑菇边界,获取蘑菇圆心和边界点的三维坐标;校准相机坐标系并基于陶瓷圆板验证原位测量方法的精度,由此计算世界坐标系中单体蘑菇的位置、直径、偏向角、倾斜角。现场试验表明,蘑菇直径最大误差为5.57mm,倾斜角最大误差为6.3°,视频帧的运行时间为206ms,单体蘑菇的运行时间为44ms,可满足蘑菇采摘机器人的现场需求。     

基于ECA-YOLO v5s网络的重度遮挡肉牛目标识别方法

肉牛目标检测和数量统计是精细化、自动化、智能化肉牛养殖要解决的关键问题,受肉牛个体颜色及纹理相近和遮挡等因素的影响,现有肉牛目标检测方法实用性较差。本研究基于YOLO v5s网络与通道信息注意力模块(ECABasicBlock),提出了一种融合通道信息的改进YOLO v5s网络(ECA-YOLO v5s),在YOLO v5s模型的骨干特征提取网络部分添加了3层通道信息注意力模块。ECA-YOLO v5s网络实现了重度遮挡环境下多目标肉牛的准确识别。对养殖场监控视频分帧得到的肉牛图像采用了一种基于结构相似性的冗余图像剔除方法以保证数据集质量。数据集制作完成后经过300次迭代训练,得到模型的精确率为89.8%,召回率为76.9%,全类平均精度均值为85.3%,检测速度为76.9 f/s,模型内存占用量为24 MB。与YOLO v5s模型相比,ECA-YOLO v5s的精确率、召回率和平均精度均值分别比YOLO v5s高1.0、0.8、2.2个百分点。为了验证不同注意力机制应用于YOLO v5s的性能差异,本研究对比了CBAM(Convolutional block attention mo...     

基于频域数据增强与轻量化YOLO v7模型的成熟期香梨目标检测方法

为实现香梨自动化采摘,本文以YOLO v7-S为基础模型,针对果园中香梨果实、果叶和枝干之间相互遮挡,不易精准检测的问题,设计了一种轻量化香梨目标检测M-YOLO v7-SCSN+F模型。该模型采用MobileNetv3作为骨干特征提取网络,引入协同注意力机制(Coordinate attention,CA)模块,将YOLO v7-S中的损失函数CIoU替换为SIoU,并联合Normalized Wasserstein distance (NWD)小目标检测机制,以增强网络特征表达能力和检测精度。基于傅里叶变换（Fourier transform,FT）的数据增强方法,通过分析图像频域信息和重建图像振幅分量生成新的图像数据,从而提高模型泛化能力。实验结果表明,改进的M-YOLO v7-SCSN+F模型在验证集上的平均精度均值（mAP）、精确率和召回率分别达到97.23%、97.63%和93.66%,检测速度为69.39f/s,与Faster R-CNN、SSD、YOLO v3、YOLO v4、YOLO v5s、YOLO v7-S、YOLO v8n、RT-DETR-R50模型在验证集上进行性能比较,其平均精度均值（mAP)分别提高14.50、26.58、3.88、2.40、1.58、0.16、0.07、0.86个百分点。此外,改进的M-YOLO v7-SCSN+F模型内存占用量与YOLO v8n和RT-DETR-R50检测模型对比减少16.47、13.30MB。本文提出的检测模型对成熟期香梨具有很好的目标检测效果,为背景颜色相近小目标检测提供参考,可为香梨自动化采摘提供有效的技术支持。     

基于改进YOLO v5的宁夏草原蝗虫识别模型研究

针对草原蝗虫图像具有样本收集困难、目标较小和目标多尺度等技术难点,基于YOLO v5网络,提出了一种复杂背景下多尺度蝗虫目标检测识别模型YOLO v5-CB,用于宁夏草原常见蝗虫检测。改进模型YOLO v5-CB针对蝗虫原始样本量较少的问题,使用CycleGAN网络扩充蝗虫数据集;针对蝗虫图像中的小目标特征,使用ConvNeXt来保留小目标蝗虫的特征;为有效解决蝗虫图像尺度特征变换较大问题,在颈部特征融合使用Bi-FPN结构,来增强网络对多尺度目标的特征融合能力。实验结果表明,在对宁夏草原常见亚洲小车蝗、短星翅蝗、中华剑角蝗进行检测识别时,YOLO v5-CB的识别精度可达98.6%,平均精度均值达到96.8%,F1值为98%,与Faster R-CNN、YOLO v3、YOLO v4、YOLO v5模型相比,识别精度均有提高。将改进的蝗虫检测识别模型YOLO v5-CB与研发的分布式可扩展生态环境数据采集系统结合,构建了基于4G网络的Web端蝗虫识别平台,可对观测点的蝗虫图像进行长期实时检测。目前,该平台已在宁夏回族自治区盐池县大水坑、黄记场、麻黄山等地的草原生态环境数据获取中得到了应用,可对包括宁夏草原蝗虫信息在内的多种生态环境信息进行长期检测和跟踪,为虫情防治等提供决策依据。     

基于StyleGAN2-ADA和改进YOLO v7的葡萄叶片早期病害检测方法

为实现葡萄早期病害的快速准确识别,针对葡萄病害的相似表型症状识别率低及小病斑检测困难的问题,以葡萄黑腐病和黑麻疹病为研究对象,提出了一种基于自适应鉴别器增强的样式生成对抗网络与改进的YOLO v7相结合的葡萄黑腐病和黑麻疹病的病斑检测方法。通过自适应鉴别器增强的样式生成对抗网络和拉普拉斯滤波器的方差扩充葡萄病害数据。采用MSRCP算法进行图像增强,改善光照环境凸显病斑特征。以YOLO v7网络框架为基础,将BiFormer注意力机制嵌入特征提取网络,强化目标区域的关键特征;采用BiFPN代替PA-FPN,更好地实现低层细节特征与高层语义信息融合,以同时降低计算复杂度;在YOLO v7的检测头部分嵌入SPD模块,以提高模型对低分辨率图像的检测性能;并采用CIoU与NWD损失函数组合对损失函数重新定义,实现对小目标快速、准确识别。实验结果表明,该方法病斑检测精确率达到94.1%,相比原始算法提升5.7个百分点,与Faster R-CNN、YOLO v3-SPP和YOLO v5x等模型相比分别提高3.3、3.8、4.4个百分点,能够实现葡萄早期病害快速准确识别,对于保障葡萄产业发展具有重要意义。     

基于注意力机制与改进YOLO的温室番茄快速识别

为了实现复杂环境下农业机器人对番茄果实的快速准确识别,提出了一种基于注意力机制与改进YOLO v5s的温室番茄目标快速检测方法。根据YOLO v5s模型小、速度快等特点,在骨干网络中加入卷积注意力模块(CBAM),通过串联空间注意力模块和通道注意力模块,对绿色番茄目标特征给予更多的关注,提高识别精度,解决绿色番茄在相似颜色背景中难识别问题;通过将CIoU Loss替换GIoU Loss作为算法的损失函数,在提高边界框回归速率的同时提高果实目标定位精度。试验结果表明,CB-YOLO网络模型对温室环境下红色番茄检测精度、绿色番茄检测精度、平均精度均值分别为99.88%、99.18%和99.53%,果实检测精度和平均精度均值高于Faster R-CNN模型、YOLO v4-tiny模型和YOLO v5模型。将CB-YOLO模型部署到安卓手机端,通过不同型号手机测试,验证了模型在移动终端设备上运行的稳定性,可为设施环境下基于移动边缘计算的机器人目标识别及采收作业提供技术支持。     

基于“淹没法”的双孢菇检测及直径测量方法

随着双孢菇种植面积和产量的增长,智能化采摘机器人的需求已迫在眉睫。为了给采摘机器人提供作业目标和参数信息,通过对双孢菇(白菇)深度图像进行处理和分析,实现了目标检测和直径测量。首先,根据双孢菇三维纵深结构特点,开发了“淹没法”双孢菇-菇床基质分割方法,实现了双孢菇的准确检测;然后,通过坐标变换,得到双孢菇菇盖边缘点的世界坐标,利用Hough圆检测实现双孢菇的直径测量。试验结果表明:此方法双孢菇检出率89%以上,漏检率低于11%,错检率低于2.26%,直径测量误差为2.15%~3.15%,单个蘑菇运算耗时约0.26~0.37s,可为双孢菇机械化采收提供在线、实时的信息决策支持,提高了双孢菇采收质量和效率,并有助于提高双孢菇采收机器人的智能化水平。     

采摘机器人水果检测及定位研究——基于图像处理和卷积神经网络

首先,设计了一种采用K-means聚类算法和图像处理相结合的目标边缘识别算法,可以获得完整的目标边缘轮廓;然后,利用卷积神经网络和双目视觉技术实现了采摘机器人水果检测及定位方法。实验结果表明:该采摘机器人水果检测及定位方法较好,计算量小,处理速度快,误差较小,能够满足采摘要求。     

基于多时相无人机影像的高郁闭度森林采伐生物量估算

为准确估算森林采伐生物量实现森林碳汇的精准计量，针对采用单一时相可见光无人机影像估算高郁闭度森林采伐生物量较困难的问题，基于伐区采伐前后多时相可见光无人机影像，研究森林采伐生物量高精度的估算方法。以福建省闽侯白沙国有林场一个针叶林采伐小班为试验区，采集分辨率优于10 cm的采伐前后多时相可见光无人机影像，采用动态窗口局部最大值法得到高精度的采伐株数与单木树高信息，再基于采伐后无人机影像，运用YOLO v5方法检测并提取伐桩直径信息，根据胸径-伐桩直径模型来估算采伐木胸径信息，再利用树高和胸径二元生物量公式估算采伐生物量，以实测数据进行验证。根据动态窗口局部最大值法获取株数与平均树高精度分别为96.35%、99.01%,运用YOLO v5方法对伐桩目标检测的总体精度为77.05%,根据伐桩直径估算的平均胸径精度为90.14%,最后得到森林采伐生物量精度为83.08%,结果表明这一新方法具备较大的应用潜力。采用采伐前后多时相无人机可见光遥感，可实现森林采伐生物量的有效估算，有助于降低人工调查成本，为政府及有关部门进行碳汇精准计量提供有效的技术支持。     

基于CenterNet的密集场景下多苹果目标快速识别方法

为提高苹果采摘机器人的识别效率和环境适应性,使其能在密集场景下对多苹果目标进行快速、精确识别,提出了一种密集场景下多苹果目标的快速识别方法.该方法借鉴"点即是目标"的思路,通过预测苹果的中心点及该苹果的宽、高尺寸,实现苹果目标的快速识别;通过改进CenterNet网络,设计了Tiny Hourglass-24轻量级骨干...     

基于聚类算法对象提取的快速定位采摘机器人设计

为了提高采摘机器人的定位速度,对机器人的机器视觉系统进行了改进,设计了一种基于聚类算法和视频对象提取技术的快速定位机器人。该机器人视频对象图像提取过程中,在完成图像进行滤波后,引入了Lab彩色空间聚类算法,有效地降低了图像的色彩数和噪声,实现了图像对象的量化处理,大大提高了果实定位和采摘的效率。为了验证设计的快速定位采摘机器人的可靠性,对机器人的采摘性能进行了测试,测试项目主要包括图像处理和果实定位。通过测试发现:快速定位机器人可以有效地实现图像聚类中心的提取,并对聚类中心进行编码,每次定位用时少、定位速度高且果实采摘的准确性累计概率较高,符合高精度、高效率果实采摘机器人的设计需求。     

基于YOLO算法的不同品种枣自然环境下成熟度识别

实现果园机械化智能采摘是解决农村劳动力不足、降低果实采摘成本的重要途径,对果园中果实的准确识别是其关键技术。以枣为研究对象,建立最适合多品种、实用性强的枣果实成熟度识别模型,将YOLO算法引入到枣果实在自然环境下的成熟度识别中,将枣果实分为成熟果实、未熟果实和完熟果实、半红果实、未熟果实两种标注方式,建立YOLO V3、YOLO V4、YOLO V4-Tiny和Mobilenet-YOLO V4-Lite四种识别模型。研究表明YOLO算法中YOLO V3与YOLO V4-Tiny两个模型均可适用于两种标注方式,验证集mAP约为94%,证明YOLO算法能够对枣果实进行有效的成熟度识别。