多通道深度可分离卷积模型实时识别复杂背景下甜菜与杂草

针对实际复杂田间环境下杂草与作物识别精度低和实时性差的问题,为减少弱光环境对分割识别效果的影响,实现甜菜与杂草的实时精确分割识别,该文首先将可见光图像进行对比度增强,再将近红外与可见光图像融合为4通道图像;将深度可分离卷积以及残差块构成分割识别模型的卷积层,减少模型参数量及计算量,构建编码与解码结构并融合底层特征,细化分割边界。以分割识别精度、参数量以及运行效率为评价指标,通过设置不同宽度系数以及输入图像分辨率选出最优模型。试验结果表明:本文模型的平均交并比达到87.58%,平均像素准确率为99.19%,帧频可达42.064帧/s,参数量仅为525 763,具有较高分割识别精度和较好实时性。该方法有效实现了甜菜与杂草的精确实时识别,可为后续机器人精确除草提供理论参考。     

基于语义分割的非结构化田间道路场景识别

环境信息感知是智能农业装备系统自主导航作业的关键技术之一。农业田间道路复杂多变,快速准确地识别可通行区域,辨析障碍物类别,可为农业装备系统高效安全地进行路径规划和决策控制提供依据。该研究以非结构化农业田间道路场景为研究对象,根据环境对象动、静态属性进行类别划分,提出一种基于通道注意力结合多尺度特征融合的轻量化语义分割模型。首先采用Mobilenet V2轻量卷积神经网络提取图像特征,将混合扩张卷积融入特征提取网络最后2个阶段,在保证特征图分辨率的基础上增加感受野并保持信息的连续性与完整性;然后引入通道注意力模块对特征提取网络各阶段特征通道依据重要程度重新标定;最后通过空间金字塔池化模块将多尺度池化特征进行融合,获取更加有效的全局场景上下文信息,增强对复杂道路场景识别的准确性。语义分割试验表明,不同道路环境下本文模型可以对场景对象进行有效识别解析,像素准确率和平均像素准确率分别为94.85%、90.38%,具有准确率高、鲁棒性强的特点。基于相同测试集将本文模型与FCN-8S、SegNet、DeeplabV3+、BiseNet模型进行对比试验,本文模型的平均区域重合度为85.51%,检测速度达到8.19帧/s,参数数量为,相比于其他模型具有准确性高、推理速度快、参数量小等优点,能够较好地实现精度与速度的均衡。研究成果可为智能农业装备在非结构化道路环境下安全可靠运行提供技术参考。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM(convolutional block attention module),改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络(Shifted Window Transformer,Swin Transformer)的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入SwinTransformer主干并采用统一感知解析网络作为其高效语义分割框架;改进SwinTransformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51×10^-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。     

基于RCH-UNet的新疆密植棉花图像快速分割及产量预测

针对复杂棉田环境下传统图像分割技术存在分割精度低、实时性弱和鲁棒性差等问题,该研究以脱叶期新疆密植棉花为对象,结合低空无人机遥感平台,提出一种RCH-UNet（resnet coordinate hardswish UNet）棉花产量快速预测模型。将UNet中传统的CBR（convolution batch normalization ReLU）下采样模块替换为ResNet50,同时将CA（coordinateattention）注意力机制和hardswish激活函数引入UNet,以提高图像特征的提取能力,增强图像分割效果。基于无人机采集的棉花图像数据集评估RCH-UNet模型性能。试验结果表明,在本文构建的棉花图像数据集上,RCH-UNet模型的棉花分割交并比达到92.79%,像素准确率达到96.22%,精确率为96.30%,与原始U-Net、PSPNet和DeepLabv3相比,像素准确率分别提高了9.85、17.67、6.31个百分点。通过RCH-UNet提取棉花像素比和灰度共生矩阵提取纹理特征,结合岭回归分析构建多因素棉花产量预测模型,模型的R²为0.92,预测产量与实际产量平均绝对百分比误差为9.254%。研究结果可为新疆密植棉花产量预测提供技术支持。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

深度多分支模型融合网络的胡萝卜缺陷识别与分割

缺陷检测是胡萝卜上市销售前的重要环节,开裂缺陷区域的分割提取是开裂胡萝卜修整的必要条件。基于图像处理的传统的胡萝卜表面缺陷识别算法复杂,通用性、鲁棒性较差。该研究提出一种集胡萝卜缺陷种类识别(C-Net)和开裂缺陷分割(S-Net)为一体的深度多分支模型融合网络(CS-Net)。C-Net将预训练的ResNet-50作为胡萝卜图像特征提取器,分别输出ResNet-50不同卷积层特征,将其作为支持向量机(Support Vector Machine,SVM)的输入训练不同的分类模型,并利用不同策略将其融合以获取最终的分类模型;S-Net将预训练的ResNet-50作为分割网络的编码器,根据不同的分割网络构造思想设计解码器,构造胡萝卜开裂区域分割提取网络。结果表明,C-Net中,ResNet-50第49层输出模型在测试集上的准确率为94.71%,利用Stacking融合方法得到的模型性能最好,在测试集上的准确率为98.40%;S-Net中,根据U-net构造思想构造的网络分割效果最好,分割像素准确率(Pixel Accuracy,PA)、类别平均像素准确率(Mean Pixel Accuracy,MPA)和平均交互比(Mean Intersection over Union,MIoU)分别为98.31%、96.05%和92.81%。该研究构建的胡萝卜缺陷识别分割网络对胡萝卜外观品质的量化评价和表面缺陷的修整具有重要意义。     

基于轻量和积网络及无人机遥感图像的大豆田杂草识别

为提高机器视觉在无人机等小型嵌入式设备中杂草识别的准确率,该文以大豆苗中常见禾本科杂草和阔叶型杂草为研究对象,针对传统和积网络在图像分类任务中模型参数多、训练时间长、含有较多冗余节点和子树的问题,该文改进传统和积网络的学习过程,提出一种以小批量数据作为输入的轻量和积网络。在结构学习中,当积节点作用域内的变量个数小于一定阈值时,合并积节点为多元叶节点,否则将积节点重组为和积混合结构,并对边缘节点进行裁剪,有效降低了模型的参数量和复杂度。在参数学习中,提出贝叶斯矩匹配更新网络参数,使得模型对小样本的学习效率更高。最后结合K均值聚类算法应用于无人机图像中的杂草识别。试验结果表明,利用该方法对无人机图像中大豆苗、禾本科杂草、阔叶型杂草以及土壤的平均识别准确率达99.5%,高于传统和积网络和传统AlexNet。并且模型平均参数量仅为传统和积网络的33%,内存需求最大时减少了549 M,训练时间最多减少了688.79 s。该研究可为轻量和积网络模型在无人机喷洒农药中的杂草识别提供参考。     

高架草莓的果实识别与果梗分割

在高架栽培环境下,精准识别草莓果实并分割果梗对提升草莓采摘机器人的作业精度和效率至关重要。该研究在原YOLOv5s模型中引入自注意力机制,提出了一种改进的YOLOv5s模型（ATCSP-YOLOv5s）用于高架草莓的果实识别,并通过YOLOv5s-seg模型实现了果梗的有效分割。试验结果显示,ATCSP-YOLOv5s模型的精确率、召回率和平均精度值分别为97.24%、94.07%、95.59%,较原始网络分别提升了4.96、7.13、4.53个百分点;检测速度为17.3帧/s。此外,YOLOv5s-seg果梗分割模型的精确率、召回率和平均精度值分别为82.74%、82.01%和80.67%。使用ATCSP-YOLOv5s模型和YOLOv5s-seg模型分别对晴天顺光、晴天逆光和阴天条件下的草莓图像进行检测,结果表明,ATCSP-YOLOv5s模型在3种条件下识别草莓果实的平均精度值为95.71%、95.34%、95.56%,较原始网络提升4.48、4.60、4.50个百分点。YOLOv5s-seg模型在3种条件下分割草莓果梗的平均精度值为82.31%、81.53%、82.04%。该研究为草莓采摘机器人的自动化作业提供了理论和技术支持。     

苹果采摘机器人关键技术研究现状与发展趋势

目前国内苹果基本采用人工采摘方式,随着劳动力资源短缺以及机械自动化技术的迅速发展,利用机器人采摘替代人工作业成为必然趋势,开发苹果采摘机器人用于果园收获作业具有重要意义。由于苹果采摘作业环境复杂,严重制约了采摘自动化的发展。目标识别、定位与果实分离是苹果采摘机器人的关键技术,其性能决定了苹果采摘的效率及质量。该文概述了具有市场化前景的苹果采摘机器人发展和应用现状,综述了在复杂自然环境光照变化、枝叶遮挡、果实重叠、夜间环境下以及同色系苹果的识别方法,介绍了多种场景并存的复杂环境下基于深度学习的苹果识别算法,遮挡、重叠及振荡果实的定位方法,并对采用末端执行器实现果实与果树的分离方法进行了分析。针对现阶段苹果采摘机器人采摘速度低、成功率低、果实损伤、成本高等问题,指出今后苹果采摘机器人商业化发展亟需在农机农艺结合、优化识别算法、多传感器融合、多臂合作、人机协作、扩展设备通用性、融合5G与物联网技术等方面开拓创新。     

基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。     

自然光照条件下采摘机器人果实识别的表面阴影去除方法

有效的阴影检测和去除算法会大大提高自然环境下果实识别算法的性能,为农业智能化提供技术支持。该研究采用超像素分割的方法,将一张图像分割成多个小区域,在对图像进行超像素分割的基础上,对自然光照下的果园图像阴影区域与非阴影区域进行对比分析,探索8个自定义特征用于阴影检测。然后采用SVM的方法,结合8个自主探索的自定义特征,对图像中每个超像素分割的小区域进行检测,判断每个小区域是否处于阴影中,再使用交叉验证方法进行参数优化。根据Finlayson的二维积分算法策略,对检测的每一个阴影区域进行阴影去除,获得去除阴影后的自然光照图像。最后进行阴影检测的识别准确性试验,试验结果表明,本研究的阴影检测算法的平均识别准确率为83.16%,经过阴影去除后,图像的阴影区域亮度得到了提高,并且整幅图像的亮度更为均匀。该研究可为自然环境下机器人识别果实及其他工农业应用场景提供技术支持。     

田间道路改进UNet分割方法

为了保证自动驾驶农机的安全行驶,需要对农田间道路进行高精度识别。该研究以北京市大兴区榆垡镇为研究地点,构建了农田间道路图像数据集,使用开源标注工具Labelme软件进行图像标注,以UNet为基本网络结构,针对分割过程中存在的道路边缘和远处道路分割效果较差等现象,提出了3个改进方向:在编码器网络中添加残差连接,增加网络复杂度;使用池化卷积融合结构完成下采样,增加可训练参数以减少信息损失。试验结果表明,使用ACBlock(Asymmetric Convolution Block,ACBlock)和DACBlock(Dilated Asymmetric Convolution Block, DACBlock)替换UNet中的卷积核,增加了卷积核"骨架"结构的权重和卷积核的感受野,提高了远处道路及道路边缘的分割效果,农田间道路分割的交并比值为85.03%,相较于原UNet提高了6.52个百分点,且高于ResUNet、UNet3+等网络。农机行驶速度在20 km/h左右,该研究网络对于1280×720像素大小的图片平均推理时间为163 ms,符合农机自动驾驶时间复杂度要求。该研究提高了自动驾驶农机对农田间道路的感知能力,为安全行驶提供了信息支持。     

快速精准识别棚内草莓的改进YOLOv4-Tiny模型

为了实现棚内草莓果实的快速精准识别,该研究提出一种基于改进YOLOv4-Tiny的草莓检测模型。首先,为了大幅度减少模型计算量,采用轻量型网络GhostNet作为特征提取网络,并在GhostBottleneck结构中嵌入卷积注意力模块以加强网络的特征提取能力;其次,在颈部网络中添加空间金字塔池化模块和特征金字塔网络结构,融合多尺度特征提升小目标草莓的检测效果;最后,采用高效交并比损失作为边界框回归损失函数,加速网络收敛并提高模型的检测准确率。结果表明,改进YOLOv4-Tiny模型权重大小仅为4.68 MB,平均每幅图片的检测时间为5.63 ms,在测试集上的平均精度均值达到92.62%,相较于原YOLOv4-Tiny模型提升了5.77个百分点。与主流的目标检测模型SSD、CenterNet、YOLOv3、YOLOv4和YOLOv5s相比,改进YOLOv4-Tiny模型平均精度均值分别高出9.11、4.80、2.26、1.22、1.91个百分点,并且模型权重大小和检测速度方面均具有绝对优势,该研究可为后续果实智能化采摘提供技术支撑。     

基于通道特征金字塔的田间葡萄实时语义分割方法

复杂环境下葡萄的快速检测识别是智能采摘的关键步骤,为解决目前葡萄识别精度低和实时性差的问题,该研究提出一种轻量级葡萄实时语义分割模型（Grape Real-time Semantic Segmentation Model,GRSM）。首先,利用通道特征金字塔（Channel-wise Feature Pyramid,CFP）模块进行特征提取,该模块通过1?3和3?1空洞卷积的跳跃连接,在减少模型参数量的同时提取葡萄图像的多尺度特征和上下文信息;然后,采用池化卷积融合结构完成下采样,增加可训练参数以减少信息损失;最后,利用跳跃连接融合多种特征恢复图像细节。试验结果表明：该研究所提出的模型在田间葡萄测试集上达到了78.8%的平均交并比,平均像素准确率为90.3%,处理速度达到68.56帧/s,网络结构大小仅为4.88MB。该模型具有较高分割识别精度和较好实时性,能满足葡萄采摘机器人对视觉识别系统的要求,为葡萄的智能化采摘提供了理论基础。     

果园环境下移动采摘机器人导航路径优化

针对移动采摘机器人在果园作业时,果树较大冠层与行人等障碍物易影响机器人行驶的突出问题,该研究提出了一种基于改进人工势场法的机器人行间导航路径优化方法。首先,通过移动采摘机器人搭载的固态激光雷达实现果园行间三维点云信息获取,运用地面平面算法去除果园地面点云,提取了果园垄行与果树冠层点云。其次,采用最小二乘法(Least Squares Method, LSM)、霍夫(Hough)变换和随机采样一致性(Random Sample Consensus, RANSAC)3种方法对果园垄行点云数据进行了垄行线和初始路径的提取。最后,通过舍弃引力势场,建立了果树冠层轮廓点云势场,优化初始路径以躲避较大的果树冠层与行人障碍物。从实时性与抗噪能力两个方面,分别对利用LSM、Hough变换和RANSAC方法所提取的初始路径结果进行了分析,结果表明3种方法均可成功提取垄行线与初始路径,其中RANSAC实时性最优,平均运行时间约为0.147×10-3 s,标准差为0.014×10-3 s,且具有较好的抗噪能力。在RANSAC提取初始路径的基础上使用改进人工势场法对初始路径进行优化,避免了传统人工势场法易陷入震荡的问题。经改进人工势场法优化后的路径将障碍物点云距导航路径的最短距离由0.156 m提高至0.863 m,且平均耗时0.059 s,标准差为0.007 s,表明该优化方法具备实时优化路径以避开障碍物的能力。该研究提出的基于改进人工势场法的机器人行间导航路径优化方法基本满足安全性与实时性要求,为移动采摘机器人在果园环境下自主导航提供了技术参考。