苹果采摘机器人目标识别与定位方法研究

【目的】在算力资源有限的嵌入式设备上对目标苹果进行快速、准确的识别与定位。【方法】研究小组对采摘机器人的目标识别与定位方法进行研究,以YOLOv4网络模型为基础,对YOLOv4进行轻量化改进,使用MobileNet V3作为特征提取的主干网络,减少模型的计算量,并结合ZED双目相机与定位算法在嵌入式平台上进行实验。【结果】实验表明：1）在目标识别方面,改进后模型的平均检测精度为87.32%,模型的大小为53.76 MB,较改进前降低了79%。2）采用ZED相机结合测距算法进行了苹果目标定位实验,ZED双目相机的测距误差可控制在0.02 m以内,同时改进的YOLOv4算法的平均检测速度在15FPS左右。【结论】改进后的YOLOv4网络模型更适合部署在算力有限的嵌入式设备中进行苹果采摘任务,且能够满足苹果采摘任务的实时性要求。因此,该方法可以为苹果采摘机器人的识别与定位提供技术参考。     

基于非对称混洗卷积神经网络的苹果叶部病害分割

针对苹果叶部病害由于数据集类间样本不均衡和拍摄角度、光照变化等实际成像与环境因素造成的精度低和泛化能力差的问题,本文提出了一种新型的非对称混洗卷积神经网络ASNet。首先,通过在ResNeXt骨干网络中添加改进的scSE注意力机制模块增强网络提取的特征;其次,针对多数叶片病害特征分布相对分散的问题,使用非对称混洗卷积模块代替原始的残差模块来扩大卷积核的感受野和增强特征提取能力,从而提升模型的分割精度和泛化能力;最后,在非对称混洗卷积模块中使用通道压缩和通道混洗的方式弥补了分组卷积造成的通道间关联性不足的缺陷,降低了由于叶部病害类间不均衡导致的传统网络模型精度偏低的问题。在COCO数据集评价指标下,实验结果表明,相比于骨干网络为ResNeXt-50的原始Mask R-CNN模型,本文模型的平均分割精度达到96.8%,提升了5.2个百分点,模型权重文件减小为321MB,减小了170MB。对实地采集和AI Challanger农作物病害分割挑战赛的240幅苹果叶片图像进行测试,结果表明,本文模型ASNet对苹果黑腐病、锈病与黑星病3种病害和健康叶片的平均分割精度达到94.7%。     

基于改进Yolov5植物病害检测算法研究

苹果和番茄是日常生活非常常见的果蔬,准确地识别病害能够提升作物产量,减少经济损失。针对现有的植物病害检测方法不能准确且快速地检测植物叶片中病害区域的问题,设计一种基于改进Yolov5的深度学习方法,用于检测苹果、番茄叶片常见病害。通过数据增强和图像标注技术构建苹果、番茄叶片病害数据集,利用K-means算法对初始锚框进行调整,在此基础上使用复合主干网增强Yolov5主干网对病害特征的提取能力,使用Varifocal Loss函数提高对密集感染区域的识别精度。试验结果表明：改进后的Yolov5病害检测算法mAP达到95.7%,在原来Yolov5模型基础上mAP提升1.7%,平均检测一张图像耗时0.033 s,为苹果、番茄叶片病害检测提供一种高性能的解决方案,能够以较高的准确率对植物叶片病害进行分类与定位。     

基于改进ResNet18的苹果叶部病害多分类算法研究

针对传统苹果叶部病害分类方法精准性差、效率低等问题,提出了一种基于改进ResNet18的苹果叶部病害多分类算法。通过在原始ResNet18网络的基础上增加通道与空间注意力机制分支,强化网络对叶部病害区域的特征提取能力,提高病害的识别精度和实时性。为更好地引导网络学习到零散分布的病害斑点的特征,引入特征图随机裁剪分支,不仅实现有限样本空间的扩充,还进一步优化网络结构,提高训练速度。试验以苹果5类常见的叶部病害(黑星病、黑腐病、雪松锈病、灰斑病、白粉病)为主要研究对象,并与主流分类算法模型进行对比。试验结果表明,所提ResNet18-CBAM-RC1模型病害分类准确率可达98.25%,高于ResNet18(93.19%)和VGG16(96.13%),能够有效提取叶片病害特征,增强对多类病害的识别,提高识别准确率。此外,模型内存占用量仅为37.44 MB,单幅图像推理时间为9.11 ms,可满足嵌入式设备上果园病害识别的实时性要求。     

基于YOLOv3的太阳能电池板缺陷检测

为了提高太阳能电池板的检测效率,针对太阳能电池板常见缺陷检测问题,本研究利用YOLOv3目标检测模型对太阳能电池板电致发光图片进行缺陷检测。根据太阳能板缺陷数据集通过K-means聚类优化先验框,YOLOv3 算法在测试集上的平均精度均值(mAP)达到 81.81%。实验结果表明:YOLOv3目标检测模型对于含有断栅、隐裂缺陷的太阳能电池板能够实现比较准确的检测,整体检测效果较为理想。     

基于快照集成卷积神经网络的苹果叶部病害程度识别

针对苹果叶部病害程度识别准确率低的问题,构建了一种基于快照集成方法的苹果叶部病害程度识别模型。首先,通过多种数字图像处理技术对原始苹果叶部病害图像进行数据增强;然后,选取InceptionResNet V2作为基模型,引入CBAM模块提升网络的特征提取能力,使用焦点损失函数缓解苹果叶部病害数据集类别不平衡问题;最后,通过快照集成方法进行模型集成,得到苹果叶部病害程度识别模型。利用苹果黑星病和锈病的早期和晩期病害数据集进行了模型验证,准确率高达90.82%,比单一InceptionResNet V2模型的准确率提高了2.50个百分点。实验结果表明,基于快照集成的识别模型准确率较高,为苹果叶部病害程度识别研究提供了参考。     

基于快照集成卷积神经网络的苹果叶部病害程度识别

针对苹果叶部病害程度识别准确率低的问题,构建了一种基于快照集成方法的苹果叶部病害程度识别模型。首先,通过多种数字图像处理技术对原始苹果叶部病害图像进行数据增强;然后,选取Inception-ResNet V2作为基模型,引入CBAM模块提升网络的特征提取能力,使用焦点损失函数缓解苹果叶部病害数据集类别不平衡问题;最后,通过快照集成方法进行模型集成,得到苹果叶部病害程度识别模型。利用苹果黑星病和锈病的早期和晩期病害数据集进行了模型验证,准确率高达90.82%,比单一Inception-ResNet V2模型的准确率提高了2.50个百分点。实验结果表明,基于快照集成的识别模型准确率较高,为苹果叶部病害程度识别研究提供了参考。     

基于PSA-YOLO网络的苹果叶片病斑检测

为提高YOLOv4目标检测算法对苹果叶片小型病斑的检测性能,提出了一种PSA（金字塔压缩注意力）-YOLO算法。在CSPDarknet53的基础上融合了Focus结构和PSA机制,并采用网络深度减小策略,构建了参数量小、精确度高的PSA-CSPDarknet-1轻量化主干网络。其次在网络颈部,搭建了空间金字塔卷积池化模块,用极小的计算代价增强了对深层特征图的空间信息提取能力,并采用α-CIoU损失函数作为边界框损失函数,提高网络对高IoU阈值下目标的检测精度。根据实验结果,PSA-YOLO网络在苹果叶片病斑识别任务中的AP50达到88.2%。COCO AP@[0.5∶0.05∶0.95]达到49.8%,比YOLOv4提升3.5个百分点。网络对于小型病斑的特征提取能力提升幅度更大,小型病斑检测AP比YOLOv4提升3.9个百分点。在单张NVIDIA GTX TITAN V显卡上的实时检测速度达到69帧/s,相较于YOLOv4网络提升13帧/s。     

基于弱监督下改进的CBAM-ResNet18模型识别苹果多种叶部病害

针对苹果叶部病害图像在仅有图像类别标注的弱监督的条件下识别准确率低的问题,提出了一种基于改进的CBAM-ResNet算法进行苹果叶部病害识别。以ResNet18作为基础模型,对轻量级卷积块注意力模块（Convolutional Block Attention Module,CBAM）注意力机制中通道注意力模块中的多层感知机（Multilayer Perceptron,MLP）进行升维改进,放大苹果叶部病害特征细节;将改进的CBAM融入残差模块中,以加强对关键细节特征的提取,将AlphaDropout配合SeLU (Scaled Exponential Linearunits)融入网络中,防止其网络的过拟合化,加速模型收敛效果;最后,采用单周期余弦退火算法调整学习率,得到病害识别模型。训练在样本图像均只进行图像级标注的弱监督下进行,大大降低标注成本。通过消融实验,探究出改进CBAM中MLP最佳升维维度为2,相对于原CBAM,准确率提升0.32%,并在参数量增加17.59%的情况下,每轮训练时长减少8 s。在包含苹果斑点落叶病、褐斑病、花叶病、灰斑病、锈病等5种病害的6185幅图像数据集上...     

基于改进YOLOv3网络模型的茶草位置检测算法

精准高效的茶草识别是智能茶园植保机械进行除草工作的关键。针对目前茶园除草智能化程度较低等问题,提出改进YOLOv3网络模型的茶草检测算法。首先,分季节和时间段,在多个茶叶品种的种植园中以自适应的距离和角度采集茶草混合图像并建立试验数据集。接着,使用K均值聚类算法重新设计先验锚框尺度。然后,以YOLOv3网络模型为基础,选取17×17的网格划分图像区域;采用残差网络（ResNet）作为主干网;加入过程提取层,增强草株检测性能。最后在原损失函数中引入广义交并比损失。通过消融试验和不同目标检测算法对比试验验证此改进算法对茶树与杂草的检测效果。试验结果表明,改进 YOLOv3网络模型对杂草的检测精确率和召回率分别为85.34%和91.38%,对茶树的检测精确率和召回率最高达到82.56%和90.12%;与原YOLOv3网络模型相比,检测精确率提高8.05%,并且每秒传输帧数达到52.83 Hz,是Faster R-CNN网络模型的16倍。这些数据说明所提算法在茶园复杂环境下,不仅对于茶树和杂草具有更好的识别效果,而且满足实时检测的要求,可以为智能茶园植保机械提供技术支持。     

基于改进YOLO v4的单环刺螠洞口识别方法

针对养殖池塘内单环刺螠自动采捕和产量预测应用需求，提出一种基于深度学习的单环刺螠洞口识别方法，以适用于自动采捕船的嵌入式设备。该方法通过将YOLO v4的主干网络CSPDarkNet53替换为轻量型网络Mobilenet v2，降低网络参数量，提升检测速度，并在此基础上使用深度可分离卷积块代替原网络中Neck和Detection Head部分的普通卷积块，进一步降低模型参数量；选取带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration，MSRCR)增强算法进行图像增强；利用K-means++算法对数据集进行重新聚类，对获得的新锚点框尺寸进行线性缩放优化，以提高目标检测效果。在嵌入式设备Jetson AGX Xavier上部署训练好的模型，对水下单环刺螠洞口检测的平均精度均值（Mean average precision，mAP）可达92.26%，检测速度为36f/s，模型内存占用量仅为22.2MB。实验结果表明，该方法实现了检测速度和精度的平衡，可满足实际应用场景下模型部署在单环刺螠采捕船嵌入式设备的需求。     

基于MSRCR-YOLOv4-tiny的田间玉米杂草检测模型

为实现田间环境下对玉米苗和杂草的高精度实时检测,本文提出一种融合带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration, MSRCR)增强算法的改进YOLOv4-tiny模型。首先,针对田间环境的图像特点采用MSRCR算法进行图像特征增强预处理,提高图像的对比度和细节质量;然后使用Mosaic在线数据增强方式,丰富目标检测背景,提高训练效率和小目标的检测精度;最后对YOLOv4-tiny模型使用K-means++聚类算法进行先验框聚类分析和通道剪枝处理。改进和简化后的模型总参数量降低了45.3%,模型占用内存减少了45.8%,平均精度均值(Mean average precision, mAP)提高了2.5个百分点,在Jetson Nano嵌入式平台上平均检测帧耗时减少了22.4%。本文提出的Prune-YOLOv4-tiny模型与Faster RCNN、YOLOv3-tiny、YOLOv4 3种常用的目标检测模型进行比较,结果表明：Prune-YOLOv4-tiny的mAP为96.6%,分别比Faster RCNN和YOLOv3...     

基于YOLO v5s的作物叶片病害检测模型轻量化方法

为在保证识别性能前提下,对叶片病害检测模型进行有效轻量化,基于主干替换、模型剪枝以及知识蒸馏技术构建了一种模型轻量化方法,对以YOLO v5s为基础的叶片黄化曲叶病检测模型开展轻量化试验。首先,通过常见的性能优异的轻量级主干特征提取神经网络结构（Lightweight convolutional neural networks,LCNN）替换YOLO v5s主干对模型主体进行缩减;然后利用模型稀疏化训练和批归一化层（Batch normalization layer）的缩放因子分布状况,筛选并删减不重要的通道;最后,通过微调重新训练以及知识蒸馏,将模型精度调整到接近剪枝前的水平。试验结果表明,经轻量化处理的模型精确率、召回率和平均精度分别为91.3%、87.4%和92.7%,模型内存占用量为1.4 MB,台式机检测帧率81.0f/s,移动端检测帧率1.2f/s,相比原始YOLO v5s叶片病害检测模型,精确率、召回率和平均精度下降3.7、4.6、2.7个百分点,内存占用量仅为处理前的10%,台式机和移动端检测的帧率分别提升近27%和33%。本文所提出的方法在保持模型性能的前提下对模型有效轻量化,为移动端叶片病害检测部署提供了理论基础。     

基于改进CenterNet的玉米雄蕊无人机遥感图像识别

为准确识别抽雄期玉米雄蕊实现监测玉米长势、植株计数和估产,基于无锚框的CenterNet目标检测模型,通过分析玉米雄蕊的尺寸分布,并在特征提取网络中添加位置坐标,从而提出一种改进的玉米雄蕊识别模型。针对雄蕊尺寸较小的特点,去除CenterNet网络中对图像尺度缩小的特征提取模块,在降低模型参数的同时,提高检测速度。在CenterNet特征提取模型中添加位置信息,提高定位精度,降低雄蕊漏检率。试验结果表明,与有锚框的YOLO v4、Faster R-CNN模型相比,改进的CenterNet雄蕊检测模型对无人机遥感影像的玉米雄蕊识别精度达到92.4%,分别高于Faster R-CNN和YOLO v4模型26.22、3.42个百分点;检测速度为36f/s,分别比Faster R-CNN和YOLO v4模型高32、23f/s。本文方法能够准确地检测无人机遥感图像中尺寸较小的玉米雄蕊,为玉米抽雄期的农情监测提供参考。     

基于红外热成像和改进YOLO v5的作物病害早期识别

为实现作物病害早期识别,本文提出一种基于红外热成像和改进YOLO v5的作物病害早期检测模型,以CSPD-arknet为主干特征提取网络,YOLO v5 stride-2卷积替换为SPD-Conv模块,分别为主干网络中的5个stride-2卷积层和Neck中的2个stride-2卷积层,可以提高其准确性,同时保持相同级别的参数大小,并向下阶段输出3个不同尺度的特征层;为增强建模通道之间的相互依赖性,自适应地重新校准通道特征响应,引入SE机制提升特征提取能力;为减少模型计算量,提高模型速度,引入SPPF。经测试,改进后YOLO v5网络检测性能最佳,mAP为95.7%,相比YOLO v3、YOLO v4、SSD和YOLO v5网络分别提高4.7、8.8、19.0、3.5个百分点。改进后模型相比改进前对不同温度梯度下的作物病害检测也有提高,5个梯度mAP分别为91.0%、91.6%、90.4%、92.6%和94.0%,分别高于改进前3.6、1.5、7.2、0.6、0.9个百分点。改进YOLO v5网络内存占用量为13.755MB,低于改进前基础模型3.687MB。结果表明,改进YOLO v5可以准确快速地实现病害早期检测。     

基于轻型调控网络的下茧机器视觉实时检测

针对蚕茧加工过程中人工目测下茧效率低的问题,采用机器视觉的检测方法代替人工检测下茧。首先,根据图像采集系统成像的景深为线阵扫描相机选择合适的拍摄距离,并通过采样频率的计算进一步配置图像采集系统的参数;然后,用采集得到的线阵图像合成面阵图像构建下茧检测数据集;最后,以YOLO v4目标检测模型为基础模型设计出下茧实时检测模型(Inferior cocoons net, ICNet)。该模型通过K-means算法对下茧检测数据集聚类分析来预置候选框参数提升模型精度;采用模型深度调控的方法进行模型压缩,以降低模型权重所占储存空间,提升模型速度;设计轻量级卷积模块构建轻量级特征提取网络进一步提升模型的速度。实验结果表明,本文设计的ICNet下茧实时检测模型较原YOLO v4基础模型平均检测精度提升1.87个百分点,达到95.55%,模型权重所占储存空间压缩40.82%,降为145.00 MB,平均检测速度提升91.65%,达到49.37帧/s。     

基于轻量级无锚点深度卷积神经网络的树上苹果检测模型

为提高现有苹果目标检测模型在硬件资源受限制条件下的性能和适应性,实现在保持较高检测精度的同时,减轻模型计算量,降低检测耗时,减少模型计算和存储资源占用的目的,本研究通过改进轻量级的MobileNetV3网络,结合关键点预测的目标检测网络（CenterNet）,构建了用于苹果检测的轻量级无锚点深度学习网络模型（M-CenterNet）,并通过与CenterNet和单次多重检测器（Single Shot Multibox Detector,SSD）网络比较了模型的检测精度、模型容量和运行速度等方面的综合性能。对模型的测试结果表明,本研究模型的平均精度、误检率和漏检率分别为88.9%、10.9%和5.8%;模型体积和帧率分别为14.2MB和8.1fps;在不同光照方向、不同远近距离、不同受遮挡程度和不同果实数量等条件下有较好的果实检测效果和适应能力。在检测精度相当的情况下,所提网络模型体积仅为CenterNet网络的1/4;相比于SSD网络,所提网络模型的AP提升了3.9%,模型体积降低了84.3%;本网络模型在CPU环境中的运行速度比CenterNet和SSD网络提高了近1倍。研究结果可为非结构环境下果园作业平台的轻量化果实目标检测模型研究提供新的思路。