基于深度学习的草坪树木检测方法研究

基于深度学习的草坪树木检测是割草机器人智能化的前提和关键。目前缺乏公共的草坪树木数据集且现有的目标检测算法轻量化程度低,为解决在算力有限的割草机器人上实现草坪树木目标检测的难题,提出基于优化Tiny YOLOV4算法的草坪树木检测算法。首先,利用手机的拍照功能在草坪环境实地拍摄、制作两种草坪树木数据集;其次,在原Tiny YOLOV4算法基础之上,通过通道多尺度变换设计增强模块与轻量模块,结合多分辨率融合的方法,提出优化Tiny YOLOV4算法;通过训练优化后的算法模型实现割草机器人草坪树木的检测。试验结果表明:该优化Tiny YOLOV4算法对草坪环境下的树木特征检测的平均精度均值为80.59%,比Tiny YOLOV3和Tiny YOLOV4分别提高6.18%和0.61%。其中,树干的检测精度分别提高2.33%和0.22%,球状树木的检测精度分别提高10.04%和1.00%。模型大小为16.19 MB,轻量化程度分别提高51.10%和27.85%。     

基于改进YOLOv3-tiny的田间行人与农机障碍物检测

为实现农机自主作业中的避障需求,本文针对室外田间自然场景中因植被遮挡、背景干扰而导致障碍物难以检测的问题,基于嵌入式平台应用设备,提出了农机田间作业时行人和农机障碍物检测的改进模型,更好地平衡了模型的检测速度与检测精度。该改进模型以You only look once version 3 tiny（YOLOv3-tiny）为基础框架,融合其浅层特征与第2 YOLO预测层特征作为第3预测层,通过更小的预选框增加小目标表征能力;在网络关键位置的特征图中混合使用注意力机制中的挤压激励注意模块(Squeeze and excitation attention module,SEAM) 与卷积块注意模块(Convolutional block attention module,CBAM),通过强化检测目标关注以提高抗背景干扰能力。建立了室外环境下含农机与行人的共9405幅图像的原始数据集。其中训练集7054幅,测试集2351幅。测试表明本文模型的内存约为YOLOv3与单次多重检测器(Single shot multibox detector,SSD)模型内存的1/3和2/3;与YOLOv3-tiny相比,本文模型平均准确率（Mean average precision,mAP）提高11个百分点,小目标召回率（Recall）提高14百分点。在Jetson TX2嵌入式平台上本文模型的平均检测帧耗时122ms,满足实时检测要求。     

基于YOLOV3模型的甘蔗丛环境下行人检测方法

针对在“一垄双沟”甘蔗丛高秆作物环境下行人目标检测的重要性及难度问题,提出一种改进YOLOV3算法的甘蔗丛中高秆作物遮挡的行人目标检测算法(YOLOV3-my-prune)。为获得更好的行人特征表达,使用Imgaug库对自制的数据集增强,并结合数据集中行人尺寸特点,使用K-means聚类分析方法,为神经网络重新聚类目标锚箱。对YOLOV3网络改进,设计了在网络全连接层中引入空间金字塔池化模块,并增加第四尺度预测特征图,同时增强网络多尺度特征融合能力及小尺度特征提取能力。完成改进的模型基础训练后,采用通道和层剪枝混合剪枝方法轻量化模型,并在数据集上进行多尺度训练并测试,结果表明:此方法 准确率达80.1%,检测速度为30fps,均有所提升。     

基于多种深度学习算法的田间玉米籽粒检测与计数

为快速准确获取玉米收获过程中遗失籽粒数信息,进行收割损失调节等管理,对比评估了单阶段和两阶段主流目标检测网络对田间玉米籽粒计数的性能。首先,利用RGB相机获取包含不同背景和不同光照的图像数据,并进一步生成数据集;其次,构建籽粒识别的不同目标检测网络,包括Mask R-CNN、EfficientDet-D5、YOLOv5-L、YOLOX-L,并利用所采集的420幅有效图像对构建的四种网络进行训练、验证、测试,图像数分别为200、40和180幅;最后,依据测试集图像的识别结果进行籽粒计数性能评价。试验结果表明,YOLOv5-L网络对测试集图像检测的平均精度为78.3%,模型尺寸仅为89.3 MB;籽粒计数的检测正确率、漏检率和F₁值分别为90.7%、9.3%和91.1%,处理速度为55.55 f/s,识别与计数性能均优于Mask R-CNN、EfficientDet-D5和YOLOX-L网络,并对具有不同地表遮挡程度和籽粒聚集状态的图像具有较强的鲁棒性。深度学习目标检测网络YOLOv5-L可实现实际作业中玉米收获损失籽粒的实时监测,精度高、适用性强。     

基于MSRCR-YOLOv4-tiny的田间玉米杂草检测模型

为实现田间环境下对玉米苗和杂草的高精度实时检测,本文提出一种融合带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration, MSRCR)增强算法的改进YOLOv4-tiny模型。首先,针对田间环境的图像特点采用MSRCR算法进行图像特征增强预处理,提高图像的对比度和细节质量;然后使用Mosaic在线数据增强方式,丰富目标检测背景,提高训练效率和小目标的检测精度;最后对YOLOv4-tiny模型使用K-means++聚类算法进行先验框聚类分析和通道剪枝处理。改进和简化后的模型总参数量降低了45.3%,模型占用内存减少了45.8%,平均精度均值(Mean average precision, mAP)提高了2.5个百分点,在Jetson Nano嵌入式平台上平均检测帧耗时减少了22.4%。本文提出的Prune-YOLOv4-tiny模型与Faster RCNN、YOLOv3-tiny、YOLOv4 3种常用的目标检测模型进行比较,结果表明：Prune-YOLOv4-tiny的mAP为96.6%,分别比Faster RCNN和YOLOv3...     

基于DiMP的类特定养殖奶山羊跟踪方法

为准确实时跟踪羊只目标,进行疾病异常预警,实现奶山羊精细化养殖,本文基于DiMP跟踪模型,利用奶山羊跟踪对象单一且图像样本丰富的特点,结合迁移学习和类特定融合方法,设计了一种类特定的奶山羊目标跟踪模型,能够有效克服DiMP算法在跟踪类特定目标时定位精度不足的缺点。利用构建的奶山羊视频跟踪数据训练集对跟踪算法进行迁移训练,加快模型收敛速度,使评估网络预测出的边界框更贴合奶山羊真实框的位置和尺寸。在线跟踪阶段,针对目标模板仅采用第1帧特征制作整个序列的调制向量,导致该调制向量相对整个跟踪阶段特征不具代表性,与后续帧差异大的缺点,使用训练集制作包含奶山羊各种姿态的类调制向量,以指数消融方式更新奶山羊类调制向量与第1帧调制向量间的比重,增强边界框回归任务中的奶山羊特征与背景的判别性。提出的算法在测试集上的AUC(Area under curve)和精准度(Precision)分别为76.20%和60.19%,比DiMP方法分别提升6.17、14.18个百分点,跟踪速度为30 f/s,满足实时跟踪的要求。实验结果表明,提出的类特定奶山羊目标跟踪方法可用于监测复杂场景下奶山羊的运动,为奶山羊精细化...     

基于改进YOLO v4的荔枝病虫害检测模型

为实时准确地检测到自然环境下背景复杂的荔枝病虫害,本研究构建荔枝病虫害图像数据集并提出荔枝病虫害检测模型以提供诊断防治。以YOLO v4为基础,使用更轻、更快的轻量化网络GhostNet作为主干网络提取特征,并结合GhostNet中的核心设计引入更低成本的卷积Ghost Module代替颈部结构中的传统卷积,得到轻量化后的YOLO v4-G模型。在此基础上使用新特征融合方法和注意力机制CBAM对YOLO v4-G进行改进,在不失检测速度和模型轻量化程度的情况下提高检测精度,提出YOLO v4-GCF荔枝病虫害检测模型。构建的数据集包含荔枝病虫害图像3725幅,其中病害种类包括煤烟病、炭疽病和藻斑病3种,虫害种类包括毛毡病和叶瘿蚊2种。试验结果表明,基于YOLO v4-GCF的荔枝病虫害检测模型,对于5种病虫害目标在训练集、验证集和测试集上的平均精度分别为95.31%、90.42%和89.76%,单幅图像检测用时0.1671s,模型内存占用量为39.574MB,相比改进前的YOLO v4模型缩小84%,检测速度提升38%,在测试集中检测平均精度提升4.13个百分点,同时平均精度比常用模型YOLO v4-tiny、EfficientDet-d2和Faster R-CNN分别高17.67、12.78、25.94个百分点。所提出的YOLO v4-GCF荔枝病虫害检测模型能够有效抑制复杂背景的干扰,准确且快速检测图像中荔枝病虫害目标,可为自然环境下复杂、非结构背景的农作物病虫害实时检测研究提供参考。     

基于YOLO v5-Jetson TX2的秸秆覆盖农田杂草检测方法

玉米苗期杂草的实时检测和精准识别是实现精准除草和智能农业的基础和前提。针对保护性耕作模式地表环境复杂、杂草易受地表秸秆残茬覆盖影响、现有算法检测速度不理想等问题，提出一种适用于Jetson TX2移动端部署的秸秆覆盖农田杂草检测方法。运用深度学习技术对玉米苗期杂草图像的高层语义信息进行提取与分析，构建玉米苗期杂草检测模型。在YOLO v5s模型的基础上，缩小网络模型宽度对其进行轻量化改进。为平衡模型检测速度和检测精度，采用TensorRT推理加速框架解析网络模型，融合推理网络中的维度张量，实现网络结构的重构与优化，减少模型运行时的算力需求。将模型迁移部署至Jetson TX2移动端平台，并对各模型进行训练测试。检测结果表明，轻量化改进YOLO v5ss、YOLO v5sm、YOLO v5sl模型的精确率分别为85.7%、94%、95.3%,检测速度分别为80、79.36、81.97 f/s, YOLO v5sl模型综合表现最佳。在Jetson TX2嵌入式端推理加速后，YOLO v5sl模型的检测精确率为93.6%,检测速度为28.33 f/s,比模型加速前提速77.8%,能够在保证检...     

基于改进SSD的果园行人实时检测方法

农田障碍物的精确识别是无人农业车辆必不可少的关键技术之一。针对果园环境复杂难以准确检测出障碍物信息的问题,提出了一种改进单次多重检测器(Single shot multibox detector,SSD)深度学习目标检测方法,对田间障碍物中的行人进行识别。使用轻量化网络MobileNetV2作为SSD模型中的基础网络,以减少提取图像特征过程中所花费的时间及运算量,辅助网络层以反向残差结构结合空洞卷积作为基础结构进行位置预测,在综合多尺度特征的同时避免下采样操作带来的信息损失,基于Tensorflow深度学习框架,在卡耐基梅隆大学国家机器人工程中心的果园行人检测开放数据集上进行不同运动状态(运动、静止)、不同姿态(正常、非正常)和不同目标面积(大、中、小)的田间行人识别精度和识别速度的对比试验。试验表明,当IOU阀值为0. 4时,改进的SSD模型田间行人检测模型的平均准确率和召回率分别达到了97. 46%和91. 65%,高于改进前SSD模型的96. 87%和88. 51%,并且参数量减少至原来的1/7,检测速度提高了187. 5%,检测速度为62. 50帧/s,模型具有较好的鲁棒性,可以较好地实现田间环境下行人的检测,为无人农机的避障决策提供依据。     

基于轻型调控网络的下茧机器视觉实时检测

针对蚕茧加工过程中人工目测下茧效率低的问题,采用机器视觉的检测方法代替人工检测下茧。首先,根据图像采集系统成像的景深为线阵扫描相机选择合适的拍摄距离,并通过采样频率的计算进一步配置图像采集系统的参数;然后,用采集得到的线阵图像合成面阵图像构建下茧检测数据集;最后,以YOLO v4目标检测模型为基础模型设计出下茧实时检测模型(Inferior cocoons net, ICNet)。该模型通过K-means算法对下茧检测数据集聚类分析来预置候选框参数提升模型精度;采用模型深度调控的方法进行模型压缩,以降低模型权重所占储存空间,提升模型速度;设计轻量级卷积模块构建轻量级特征提取网络进一步提升模型的速度。实验结果表明,本文设计的ICNet下茧实时检测模型较原YOLO v4基础模型平均检测精度提升1.87个百分点,达到95.55%,模型权重所占储存空间压缩40.82%,降为145.00 MB,平均检测速度提升91.65%,达到49.37帧/s。     

基于改进YOLO v4的自然环境苹果轻量级检测方法

针对苹果采摘机器人识别算法包含复杂的网络结构和庞大的参数体量,严重限制检测模型的响应速度问题,本文基于嵌入式平台,以YOLO v4作为基础框架提出一种轻量化苹果实时检测方法(YOLO v4-CA)。该方法使用MobileNet v3作为特征提取网络,并在特征融合网络中引入深度可分离卷积,降低网络计算复杂度;同时,为弥补模型简化带来的精度损失,在网络关键位置引入坐标注意力机制,强化目标关注以提高密集目标检测以及抗背景干扰能力。在此基础上,针对苹果数据集样本量小的问题,提出一种跨域迁移与域内迁移相结合的学习策略,提高模型泛化能力。试验结果表明,改进后模型的平均检测精度为92.23%,在嵌入式平台上的检测速度为15.11f/s,约为改进前模型的3倍。相较于SSD300与Faster R-CNN,平均检测精度分别提高0.91、2.02个百分点,在嵌入式平台上的检测速度分别约为SSD300和Faster R-CNN的1.75倍和12倍;相较于两种轻量级目标检测算法DY3TNet与YOLO v5s,平均检测精度分别提高7.33、7.73个百分点。因此,改进后的模型能够高效实时地对复杂果园环境中的苹果进行检测,适宜在嵌入式系统上部署,可以为苹果采摘机器人的识别系统提供解决思路。     

基于视频跟踪算法的果园猕猴桃产量实时预估

对猕猴桃产量的准确预估有利于合理安排后续采摘与运输工序,因此开发智能化的产量实时预估工具非常重要。针对大棚培育的猕猴桃矮化密植、分布范围广等特点,本研究利用果园履带小车采集视频,结合人工标注,建立猕猴桃检测和跟踪的数据集。考虑到自制数据集中猕猴桃占比小及密集分布的特点,本文提出使用YOLO v7模型加上Soft-NMS来检测每一帧图像内的猕猴桃。在卡尔曼滤波器预测的结果上,引入VGG16网络对猕猴桃进行特征提取,并结合匈牙利算法完成帧间目标的匹配。最后采用基于YOLO v7+DeepSort跟踪算法的ID计数方法对猕猴桃进行产量估计。实验结果表明,改进的YOLO v7模型在猕猴桃检测数据集上表现良好,检测的F1值为90.09%。猕猴桃跟踪数据集中使用的跟踪算法平均准确率为89.87%,每个目标正确匹配的精确率为82.34%,大型视频跟踪速度为20.19 f/s。在环境影响较小的条件下,ID计数准确率为97.49%。该方法可为猕猴桃果园智能化管理中的估产、采收规划等提供技术支撑。     

基于改进YOLO v4模型的马铃薯中土块石块检测方法

为实现收获后含杂马铃薯中土块石块的快速检测和剔除,提出了一种基于改进YOLO v4模型的马铃薯中土块石块检测方法。YOLO v4模型以CSPDarknet53为主干特征提取网络,在保证检测准确率的前提下,利用通道剪枝算法对模型进行剪枝处理,以简化模型结构、降低运算量。采用Mosaic数据增强方法扩充图像数据集(8621幅图像),对模型进行微调,实现了马铃薯中土块石块的检测。测试表明,剪枝后模型总参数量减少了94.37%,模型存储空间下降了187.35 MB,前向运算时间缩短了0.02 s,平均精度均值(Mean average precision, mAP)下降了2.1个百分点,说明剪枝处理可提升模型性能。为验证模型的有效性,将本文模型与5种深度学习算法进行比较,结果表明,本文算法mAP为96.42%,比Faster R-CNN、Tiny-YOLO v2、YOLO v3、SSD分别提高了11.2、11.5、5.65、10.78个百分点,比YOLO v4算法降低了0.04个百分点,模型存储空间为20.75 MB,检测速度为78.49 f/s,满足实际生产需要。     

基于改进YOLO v4的单环刺螠洞口识别方法

针对养殖池塘内单环刺螠自动采捕和产量预测应用需求，提出一种基于深度学习的单环刺螠洞口识别方法，以适用于自动采捕船的嵌入式设备。该方法通过将YOLO v4的主干网络CSPDarkNet53替换为轻量型网络Mobilenet v2，降低网络参数量，提升检测速度，并在此基础上使用深度可分离卷积块代替原网络中Neck和Detection Head部分的普通卷积块，进一步降低模型参数量；选取带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration，MSRCR)增强算法进行图像增强；利用K-means++算法对数据集进行重新聚类，对获得的新锚点框尺寸进行线性缩放优化，以提高目标检测效果。在嵌入式设备Jetson AGX Xavier上部署训练好的模型，对水下单环刺螠洞口检测的平均精度均值（Mean average precision，mAP）可达92.26%，检测速度为36f/s，模型内存占用量仅为22.2MB。实验结果表明，该方法实现了检测速度和精度的平衡，可满足实际应用场景下模型部署在单环刺螠采捕船嵌入式设备的需求。     

基于改进YOLO v5s的奶山羊面部识别方法

为准确高效地实现无接触式奶山羊个体识别,以圈养环境下奶山羊面部图像为研究对象,提出一种基于改进YOLO v5s的奶山羊个体识别方法。首先,从网络上随机采集350幅羊脸图像构成羊脸面部检测数据集,使用迁移学习思想预训练YOLO v5s模型,使其能够检测羊脸位置。其次,构建包含31头奶山羊3 844幅不同生长期的面部图像数据集,基于预训练的YOLO v5s,在特征提取层中引入SimAM注意力模块,增强模型的学习能力,并在特征融合层引入CARAFE上采样模块以更好地恢复面部细节,提升模型对奶山羊个体面部的识别精度。实验结果表明,改进YOLO v5s模型平均精度均值为97.41%,比Faster R-CNN、SSD、YOLO v4模型分别提高6.33、8.22、15.95个百分点,比YOLO v5s模型高2.21个百分点,改进模型检测速度为56.00 f/s,模型内存占用量为14.45 MB。本文方法能够准确识别具有相似面部特征的奶山羊个体,为智慧养殖中的家畜个体识别提供了一种方法支持。     

基于改进YOLO v4的笼养蛋鸭行为实时识别方法

蛋鸭行为模式是判断笼养鸭养殖过程中健康状况及福利状态的重要指标，为了通过机器视觉实现识别蛋鸭多行为模式，提出了一种基于改进YOLO v4 (You only look once)的目标检测算法，不同的行为模式为蛋鸭的养殖管理方案提供依据。本文算法通过更换主干特征提取网络MobileNetV2,利用深度可分离卷积模块，在提升检测精度的同时降低模型参数量，有效提升检测速度。在预测输出部分引入无参数的注意力机制SimAM模块，进一步提升模型检测精度。通过使用本文算法对笼养蛋鸭行为验证集进行了检测，优化后模型平均精度均值达到96.97%,图像处理帧率为49.28 f/s,相比于原始网络模型，平均精度均值及处理速度分别提升5.03%和88.24%。与常用目标检测网络进行效果对比，改进YOLO v4网络相较于Faster R-CNN、YOLO v5、YOLOX的检测平均精度均值分别提升12.07%、30.6%及2.43%。将本文提出的改进YOLO v4网络进行试验研究，试验结果表明本文算法可以准确地对不同时段的笼养蛋鸭行为进行记录，根据蛋鸭表现出的不同行为模式来帮助识别蛋鸭的异常情况，如部分行为发...     

基于机器视觉的无人机避障系统研究

无人机避障不及时造成的人员伤亡及财产损失是阻碍无人机发展应用的重要原因之一,实时性好、准确率高的避障系统可降低无人机的运行风险。提出基于目标检测的智能避障系统,以one stage与two stage目标检测方法相结合的方式改进目标检测模型YOLOv3。其中,障碍物检测分三部分完成:基于darknet-53进行三个不同尺度的特征提取、RPN根据ground truth筛选感兴趣区域和yolo层多尺度特征融合预测障碍物的位置和分类。然后,在该文数据集的基础上将训练好的障碍物检测模型进行测试,测试结果表明:改进模型的障碍物检测速率为25帧/s,mAP为95.52%,与现有的目标检测模对比结果表明:本研究改进的目标检测智能避障算法,比Faster R-CNN的mAP提高17.2%,检测速率加快14个FPS;并在保证实时性的同时,mAP比YOLO2提高23.3%,比YOLOv3提高6.25%。最后,将目标检测模型应用于无人机避障系统中提出实现方案,进一步为无人机安全运行提供新的方法。     

基于改进YOLOv4算法的苹果叶部病害缺陷检测研究

针对苹果叶部病害缺陷检测效率低下、误检率高、实时性差等问题，以苹果叶部的灰斑病、黑星病、锈病、斑点落叶病作为研究对象，提出一种基于改进YOLOv4算法的苹果叶部病害缺陷检测算法。首先通过数据扩增对数据集扩充提升鲁棒性，算法通过二分K均值聚类算法确定锚框以解决预设锚框不适用苹果叶部病害的问题，引入DenseNet121作为特征提取网络，提升对苹果叶部病害缺陷的检测性能，并且减小模型大小，降低存储开销。将模型与YOLOv4模型进行对比验证，试验结果表明，改进后的YOLOv4模型平均精度均值（mAP）达到97.52%，与改进前相比提升0.89%，模型大小为62.71 MB，与改进前相比减小182.82 MB，检测速度为26.33 FPS，与改进前相比提升6.78 FPS。能够满足实际生活中对苹果叶部病害检测的需求。