基于深度学习的草坪树木检测方法研究

基于深度学习的草坪树木检测是割草机器人智能化的前提和关键。目前缺乏公共的草坪树木数据集且现有的目标检测算法轻量化程度低,为解决在算力有限的割草机器人上实现草坪树木目标检测的难题,提出基于优化Tiny YOLOV4算法的草坪树木检测算法。首先,利用手机的拍照功能在草坪环境实地拍摄、制作两种草坪树木数据集;其次,在原Tiny YOLOV4算法基础之上,通过通道多尺度变换设计增强模块与轻量模块,结合多分辨率融合的方法,提出优化Tiny YOLOV4算法;通过训练优化后的算法模型实现割草机器人草坪树木的检测。试验结果表明:该优化Tiny YOLOV4算法对草坪环境下的树木特征检测的平均精度均值为80.59%,比Tiny YOLOV3和Tiny YOLOV4分别提高6.18%和0.61%。其中,树干的检测精度分别提高2.33%和0.22%,球状树木的检测精度分别提高10.04%和1.00%。模型大小为16.19 MB,轻量化程度分别提高51.10%和27.85%。     

基于竞争融合区域建议网络的在线行人跟踪算法研究

针对复杂背景下行人跟踪任务的深度学习网络模型和在线行人跟踪算法问题,在多层竞争融合模型目标检测预训练区域建议网络基础上,结合长期和短期并存的在线学习更新策略,实现行人跟踪任务。预训练网络的特征提取过程以VGG16为主干网络,将提取的特征投入多层竞争融合区域建议网络中,进而生成定位更准确的候选目标。在线跟踪算法使用预训练过的区域建议网络初始化参数值,选取第1帧500个正样本和5 000个负样本对区域建议网络进行微调,建立长期和短期更新的帧索引集,通过正负样本对区域建议网络进行更新,最终实现在线行人跟踪算法。在公开数据集Caltech、ETH、PETS 2009和Venice上对本文模型进行实验验证,结果表明,竞争融合区域建议网络在行人跟踪任务中性能优越,在几个环境背景较复杂的行人数据集中改进的方法均取得了很好的效果。     

基于改进YOLOv5的割草机器人工作环境障碍物检测方法研究

为实现割草机器人在计算资源有限的情况下快速、准确地定位并识别工作环境中的障碍物，提出一种基于滤波器剪枝的改进YOLOv5s深度学习模型的割草机器人工作环境下障碍物的检测方法。首先，将YOLOv5模型中的Bottleneck残差块改为分层残差结构，以更细粒度地表示多尺度特征，同时增加网络感受野；另外，在残差块尾部加入SE模块，用来对特征图重新标定；其次，对改进后的算法进行滤波器剪枝；最后，针对割草机器人工作环境中的常见障碍物建立相关数据集，并使用剪枝后改进YOLOv5s作为深度学习模型进行检测。试验结果表明：改进后的YOLOv5模型大小减少188%，mAP增加0.1%。对改进YOLOv5模型进行剪枝后，比原YOLOv5模型计算量降低36.6%，模型大小降低333%，推理速度减少1.9 ms。剪枝后本文模型的mAP值分别比YOLOv4，YOLOv4-tiny，YOLOv3，YOLOv3-tiny高1.3%，9.5%，5.8%，22.1%。     

基于改进YOLOv5s的麦穗检测算法研究

【目的】解决麦穗检测中麦穗之间相互遮挡、麦穗在图像中难以检测和不同环境造成目标模糊等情况导致麦穗检测精度低的问题。【方法】笔者提出一种基于改进YOLOv5s的算法,通过将数据集同时进行离线增强和在线增强,再将YOLOv5s的骨干网络进行改进,增添具有注意力机制的transformer模块,强化主干网络的全局特征信息提取能力,neck结构由原来的PAFPN改为具有双向加强融合的BiFPN特征融合网络,进行多尺度的特征融合。最后,在head部分使用EIoU-NMS来替代NMS,提高对遮挡麦穗的识别度。【结果】相比于其他改进单一结构的YOLOv5s模型,此综合性改进模型具有更好的检测效果,使mAP@0.5:0.95提高了1.4%,改进的算法比原始YOLOv5s算法的mAP@0.5提高了1.8%。【结论】使用离线增强和在线增强的方式可以使模型的精度有所提升;该模型的改进有效增强了麦穗识别过程中特征融合的效率,提高了麦穗检测的效果,能够为后续相关模型的改进升级提供参考。     

基于改进YOLOV3的自然环境下绿色柑橘的识别算法*

为研究自然环境下柑橘的图像识别技术,实现柑橘的早期产量预测,提出一种改进的D-YOLOV3算法,实现自然环境下未成熟的绿色柑橘的识别与检测。研究构建绿色柑橘图像数据集,并对采集的图像进行预处理;改进算法采用DenseNet的密集连接机制替换YOLOV3网络中的特征提取网络Darknet53中的后三个下采样层,加强特征的传播,实现特征的复用。通过自制的数据集对D-YOLOV3算法进行测试,并分别对改进前后网络的识别性能、不同预处理方法和不同数据量图像对模型的影响进行试验。试验结果表明,改进的D-YOLOV3算法相对于传统YOLOV3算法精确率提高6.57%,召回率提高2.75%,F₁分数提高4.41%,交并比提高6.13%,平均单张检测时间为0.28 s。通过不同果实数量图像对比试验验证了算法的可行性和准确性。研究结果表明,本文提出的D-YOLOV3算法对自然环境下未成熟的绿色柑橘识别具有较高的精准度,为柑橘的早期测产提供了技术支持。     

基于MSRCR-YOLOv4-tiny的田间玉米杂草检测模型

为实现田间环境下对玉米苗和杂草的高精度实时检测,本文提出一种融合带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration, MSRCR)增强算法的改进YOLOv4-tiny模型。首先,针对田间环境的图像特点采用MSRCR算法进行图像特征增强预处理,提高图像的对比度和细节质量;然后使用Mosaic在线数据增强方式,丰富目标检测背景,提高训练效率和小目标的检测精度;最后对YOLOv4-tiny模型使用K-means++聚类算法进行先验框聚类分析和通道剪枝处理。改进和简化后的模型总参数量降低了45.3%,模型占用内存减少了45.8%,平均精度均值(Mean average precision, mAP)提高了2.5个百分点,在Jetson Nano嵌入式平台上平均检测帧耗时减少了22.4%。本文提出的Prune-YOLOv4-tiny模型与Faster RCNN、YOLOv3-tiny、YOLOv4 3种常用的目标检测模型进行比较,结果表明：Prune-YOLOv4-tiny的mAP为96.6%,分别比Faster RCNN和YOLOv3...     

基于改进YOLOv3融合特征的火焰目标检测方法

针对火焰目标尺寸变化大、YOLOv3算法对小尺寸目标的检测性能有所欠缺、对火焰目标的检测效果不好的问题,提出对YOLOv3的改进策略。充分发挥空洞卷积在不提升训练参数的同时扩大卷积核感受野的优点,构建2层空洞卷积层,对特征金字塔的融合特征进一步提取多尺度特征;在空洞卷积模块后添加通道注意力机制模块,抑制冗余的特征;使用DIOU损失函数降低对目标的漏检率。通过在火焰目标数据集上的对比实验表明,改进后的YOLOv3训练模型在精度上达到了81.2%,相比原YOLOv3模型提升2.9%。与SSD模型相比在精度上有所提高,相比Faster R-CNN模型在检测速度上更具有优势;对小尺寸目标的检测效果相比原YOLOv3模型有所提升。     

基于改进YOLO v5的宁夏草原蝗虫识别模型研究

针对草原蝗虫图像具有样本收集困难、目标较小和目标多尺度等技术难点,基于YOLO v5网络,提出了一种复杂背景下多尺度蝗虫目标检测识别模型YOLO v5-CB,用于宁夏草原常见蝗虫检测。改进模型YOLO v5-CB针对蝗虫原始样本量较少的问题,使用CycleGAN网络扩充蝗虫数据集;针对蝗虫图像中的小目标特征,使用ConvNeXt来保留小目标蝗虫的特征;为有效解决蝗虫图像尺度特征变换较大问题,在颈部特征融合使用Bi-FPN结构,来增强网络对多尺度目标的特征融合能力。实验结果表明,在对宁夏草原常见亚洲小车蝗、短星翅蝗、中华剑角蝗进行检测识别时,YOLO v5-CB的识别精度可达98.6%,平均精度均值达到96.8%,F1值为98%,与Faster R-CNN、YOLO v3、YOLO v4、YOLO v5模型相比,识别精度均有提高。将改进的蝗虫检测识别模型YOLO v5-CB与研发的分布式可扩展生态环境数据采集系统结合,构建了基于4G网络的Web端蝗虫识别平台,可对观测点的蝗虫图像进行长期实时检测。目前,该平台已在宁夏回族自治区盐池县大水坑、黄记场、麻黄山等地的草原生态环境数据获取中得到了应用,可对包括宁夏草原蝗虫信息在内的多种生态环境信息进行长期检测和跟踪,为虫情防治等提供决策依据。     

边缘设备上的葡萄园田间场景障碍检测

为在无人驾驶农机上实现快速、准确的葡萄园田间障碍目标检测,将EfficientDet-D0、YOLOV4-TINY、YOLOV3-TINY、YOLO-FASTEST四种轻量级目标检测神经网络在自建的葡萄园田间场景数据集进行训练,将训练模型移植到边缘设备NVIDIA JETSON TX2(以下简称TX2)上,对这4种模型的障碍检测精度和在TX2上的适用性进行试验评估。试验结果表明,YOLOV3-TINY、YOLOV4-TINY、EfficientDet-D0、YOLO-FASTEST对葡萄园田间场景障碍检测平均精度mAP分别为0.648、0.601、0.598和0.401。在TX2的实测结果显示,上述网络模型实时视频检测帧率分别为34.24帧、24.75帧、2.34帧和2.97帧。4种目标检测网络中,YOLOV3-TINY在数据集上的检测精度最高、实时检测速度最快,但对硬件资源消耗也相对较高。而在考虑硬件资源消耗时,使用YOLOV4-TINY可以在检测精度、实际运行速度和硬件资源消耗之间维持更好的平衡性,同时可以在运行多任务的情况下取得好的效果。     

基于改进Faster R-CNN的苹果采摘视觉定位与检测方法

针对采摘机器人对场景中目标分布密集、果实相互遮挡的检测及定位能力不理想问题,提出一种引入高效通道注意力机制(ECA)和多尺度融合特征金字塔(FPN)改进Faster R-CNN果实检测及定位方法。首先,利用表达能力较强的融合FPN的残差网络ResNet50替换原VGG16网络,消除了网络退化问题,进而提取更加抽象和丰富的语义信息,提升模型对多尺度和小目标的检测能力;其次,引入注意力机制ECA模块,使特征提取网络聚焦特征图像的局部高效信息,减少无效目标的干扰,提升模型检测精度;最后,采用一种枝叶插图数据增强方法改进苹果数据集,解决图像数据不足问题。基于构建的数据集,使用遗传算法优化K-means++聚类生成自适应锚框,提高模型定位准确性。试验结果表明,改进模型对可抓取和不可直接抓取苹果的精度均值分别为96.16%和86.95%,平均精度均值为92.79%,较传统Faster R-CNN提升15.68个百分点;对可抓取和不可直接抓取的苹果定位精度分别为97.14%和88.93%,较传统Faster R-CNN分别提高12.53个百分点和40.49个百分点;内存占用量减少38.20%,每帧平均计算时间缩短40.7%,改进后的模型参数量小且实时性好,能够更好地应用于果实采摘机器人视觉系统。     

基于改进YOLO v5s的甘蔗切种茎节特征识别定位技术

为了实现甘蔗智能横向切种工作站的精准、高效的自动化切种,针对工厂化切种任务的特点,提出了一种基于改进YOLO v5s的甘蔗茎节特征边缘端识别与定位方法。首先,利用张正友相机标定法对摄像头进行畸变矫正;然后对甘蔗茎节数据集进行数据增强,利用原始的YOLO v5s模型进行训练和测试,结果显示数据增强能一定程度上提高检测精度。针对茎节特征目标小以及模型体积大导致检测精度低、部署难度高等问题,对YOLO v5s的骨干网络进行改进,在SPPF特征融合模块前引入坐标注意力(Coordinate attention, CA)模块和Ghost轻量化结构,在Head网络中剔除P5大目标检测头,得到了改进后甘蔗茎节检测模型YOLO v5s-CA-BackboneGhost-p34,测试结果表明该模型优于其他主流算法和原始模型,具有高精度、小体积等优势。其中,平均精度均值1和平均精度均值2分别提高5.2、16.5个百分点,模型浮点数计算量和内存占用量分别降低42%和51%。最后,为了提高检测速度和实时性,将模型部署于边缘端,利用TensorRT技术加快检测速度,并在传送速度为0.15 m/s的甘蔗智能横向切...     

基于YOLOv5的行人检测方法研究

将YOLOv5算法应用于行人检测的实验研究。首先,在YOLO网络的输入端对数据集图像Mosaic数据增强、自适应缩放、自适应锚框计算,并利用创新的Focus结构对图像进行切片操作,增加其维度。然后,在Neck部分采用FPN+PAN结构进行卷积操作,加强网络特征融合的能力。最后,在输出端利用GIOU_Loss函数优化网络参数,加速模型收敛。实验结果分析可知,基于YOLOv5的行人检测方法准确率更高,速度更快。     

基于改进YOLOv3网络模型的茶草位置检测算法

精准高效的茶草识别是智能茶园植保机械进行除草工作的关键。针对目前茶园除草智能化程度较低等问题,提出改进YOLOv3网络模型的茶草检测算法。首先,分季节和时间段,在多个茶叶品种的种植园中以自适应的距离和角度采集茶草混合图像并建立试验数据集。接着,使用K均值聚类算法重新设计先验锚框尺度。然后,以YOLOv3网络模型为基础,选取17×17的网格划分图像区域;采用残差网络（ResNet）作为主干网;加入过程提取层,增强草株检测性能。最后在原损失函数中引入广义交并比损失。通过消融试验和不同目标检测算法对比试验验证此改进算法对茶树与杂草的检测效果。试验结果表明,改进 YOLOv3网络模型对杂草的检测精确率和召回率分别为85.34%和91.38%,对茶树的检测精确率和召回率最高达到82.56%和90.12%;与原YOLOv3网络模型相比,检测精确率提高8.05%,并且每秒传输帧数达到52.83 Hz,是Faster R-CNN网络模型的16倍。这些数据说明所提算法在茶园复杂环境下,不仅对于茶树和杂草具有更好的识别效果,而且满足实时检测的要求,可以为智能茶园植保机械提供技术支持。     

基于改进YOLOv5的蝴蝶兰花朵识别与计数

为精确预测蝴蝶兰产量和对蝴蝶兰的生产进行科学管理,对大苗时期的蝴蝶兰植株花朵和花苞进行识别与检测,统计其花量。由于蝴蝶兰花苞目标体积较小,提出一种基于改进YOLOv5的蝴蝶兰花朵与花苞识别方法。首先,修改颈部网络的结构,在特征金字塔FPN(Feature Pyramid Network)和路径聚合网络PANet(Path Aggregation Network)中引入有利于小目标检测的160×160尺度特征层,以提升对小目标的检测效果;其次,使用K-means++聚类算法针对训练集生成更合适的先验框,并采用载入预训练权重和冻结主干网络的训练方式,以使模型更加容易学习,提高网络模型收敛速度和泛化能力;最后,在颈部网络加入轻量级注意力机制,加强对目标的关注,减少背景干扰,以提升模型的特征提取能力。试验结果显示,该算法对花苞的检测精确率达到89.54%,比改进前提升9.83%;对花苞和花朵的平均精确率达到91.81%,比改进前提升5.56%。该算法有优异的检测精度并有效提高对小目标的检测能力。     

基于多尺度融合模块和特征增强的杂草检测方法

针对单步多框检测器(Single shot multibox detector, SSD)网络模型参数多、小目标检测效果差、作物与杂草检测精度低等问题,提出一种基于多尺度融合模块和特征增强的杂草检测方法。首先将轻量网络MobileNet作为SSD模型的特征提取网络,并设计了一种多尺度融合模块,将浅层特征图先通过通道注意力机制增强图像中的关键信息,再将特征图经过不同膨胀系数的扩张卷积扩大感受野,最后将两条分支进行特征融合,对于检测小目标的浅层特征图,在包含较多小目标细节信息的同时,还包含丰富的语义信息。在此基础上对输出的6个特征图经过通道注意力机制进行特征增强。实验结果表明,本文提出的基于多尺度融合模块和特征增强的杂草检测模型,在自然环境下甜菜与杂草图像数据集中,平均检测精度可达88.84%,较标准SSD模型提高了3.23个百分点,参数量减少57.09%,检测速度提高88.44%,同时模型对小目标作物与杂草以及叶片交叠情况的检测能力均有提高。     

基于改进YOLOv3-tiny的田间行人与农机障碍物检测

为实现农机自主作业中的避障需求,本文针对室外田间自然场景中因植被遮挡、背景干扰而导致障碍物难以检测的问题,基于嵌入式平台应用设备,提出了农机田间作业时行人和农机障碍物检测的改进模型,更好地平衡了模型的检测速度与检测精度。该改进模型以You only look once version 3 tiny（YOLOv3-tiny）为基础框架,融合其浅层特征与第2 YOLO预测层特征作为第3预测层,通过更小的预选框增加小目标表征能力;在网络关键位置的特征图中混合使用注意力机制中的挤压激励注意模块(Squeeze and excitation attention module,SEAM) 与卷积块注意模块(Convolutional block attention module,CBAM),通过强化检测目标关注以提高抗背景干扰能力。建立了室外环境下含农机与行人的共9405幅图像的原始数据集。其中训练集7054幅,测试集2351幅。测试表明本文模型的内存约为YOLOv3与单次多重检测器(Single shot multibox detector,SSD)模型内存的1/3和2/3;与YOLOv3-tiny相比,本文模型平均准确率（Mean average precision,mAP）提高11个百分点,小目标召回率（Recall）提高14百分点。在Jetson TX2嵌入式平台上本文模型的平均检测帧耗时122ms,满足实时检测要求。     

基于双目相机与改进YOLOv3算法的果园行人检测与定位

针对复杂果园环境中行人难以精确检测并定位的问题,提出了一种双目相机结合改进YOLOv3目标检测算法的行人障碍物检测和定位方法。该方法采用ZED双目相机采集左右视图,通过视差原理获取图像像素点的距离信息;将双目相机一侧的RGB图像作为用树形特征融合模块改进的YOLOv3算法的输入,得到行人障碍物在图像中的位置信息,结合双目相机获得的像素位置信息计算出相对于相机的三维坐标。用卡耐基梅隆大学国家机器人工程中心开放的果园行人检测数据集测试改进的YOLOv3算法,结果表明,准确率和召回率分别达到95.34%和91.52%,高于原模型的94.86%和90.19%,检测速度达到30.26 f/ms。行人检测与定位试验表明,行人障碍物的定位在深度距离方向平均相对误差为1.65%,最大相对误差为3.80%。该方法具有快速性和准确性,可以较好地实现果园环境中的行人检测与定位,为无人驾驶农机的避障决策提供依据。     

基于改进Yolov5s的水稻叶病检测方法

水稻叶病防治在提高水稻产量中具有重要作用,针对水稻叶病人工检查速度慢、主观性高的问题,提出一种基于改进Yolov5s的水稻叶病目标检测方法。采用K-means聚类算法得到先验框尺寸,增强检测模型对水稻叶病的适应性;将轻量级空间注意力与通道注意力融合,对高层语义特征信息增强,增强模型对病害信息的感知度;并结合特征金字塔网络,融合多尺度感受野获取目标上下文信息,有效地增强模型对目标周围特征的提取,提高目标检测的准确度。试验结果表明：改进后的Yolov5s算法平均检测精度(IOU=0.5)提高4.3%,F1值提高5.3%,帧率FPS为58.7 f/s。有效提升Yolov5s算法对水稻叶病的检测精度,达到实时检测的需求。     

基于RSTCNN的小麦叶片病害严重度估计

以小麦叶片条锈病和白粉病为研究对象,针对同类型病害的不同严重度之间的图像颜色及纹理特征差异较小,传统方法病害严重度估计准确率不高的问题,提出一种基于循环空间变换的卷积神经网络(Recurrent spatial transformer convolutional neural network,RSTCNN)对小麦叶片病害进行严重度估计。RSTCNN包含3个尺度网络,并由区域检测子网络进行连接。每个尺度网络以VGG19作为基础网络以提取病害的特征,同时为了统一区域检测过程中前后特征图的维度,在全连接层前引入空间金字塔池化(Spatial pyramid pooling,SPP);区域检测子网络则采用空间变换（Spatial transformer,ST）有效提取尺度网络特征图中病害的注意力区域。小麦叶片病害图像通过每个尺度网络中卷积池化层得到的特征图,一方面可作为预测病害严重度类别概率的依据,另一方面通过ST进行注意力区域检测并将检测到的区域作为下一个尺度网络的输入,通过交替促进的方式对注意力区域检测和局部细粒度特征表达进行联合优化和递归学习,最后对不同尺度网络的输出特征进行融合再并入到全连接层和Softmax层进行分类,从而实现小麦叶片病害严重度的估计。本文对采集的患有条锈病和白粉病的小麦叶片图像结合数据增强方法构建病害数据集,实验验证了改进后的RSTCNN在3层尺度融合的网络对病害严重度估计准确率较佳,达到了95.8%。相较于基础分类网络模型,RSTCNN准确率提升了7~9个百分点,相较于传统的基于颜色和纹理特征的机器学习算法,RSTCNN准确率提升了9～20个百分点。结果表明,本文方法显著提高了小麦叶片病害严重度估计的准确率。     

基于机器视觉的无人机避障系统研究

无人机避障不及时造成的人员伤亡及财产损失是阻碍无人机发展应用的重要原因之一,实时性好、准确率高的避障系统可降低无人机的运行风险。提出基于目标检测的智能避障系统,以one stage与two stage目标检测方法相结合的方式改进目标检测模型YOLOv3。其中,障碍物检测分三部分完成:基于darknet-53进行三个不同尺度的特征提取、RPN根据ground truth筛选感兴趣区域和yolo层多尺度特征融合预测障碍物的位置和分类。然后,在该文数据集的基础上将训练好的障碍物检测模型进行测试,测试结果表明:改进模型的障碍物检测速率为25帧/s,mAP为95.52%,与现有的目标检测模对比结果表明:本研究改进的目标检测智能避障算法,比Faster R-CNN的mAP提高17.2%,检测速率加快14个FPS;并在保证实时性的同时,mAP比YOLO2提高23.3%,比YOLOv3提高6.25%。最后,将目标检测模型应用于无人机避障系统中提出实现方案,进一步为无人机安全运行提供新的方法。