基于语义分割的非结构化田间道路场景识别

环境信息感知是智能农业装备系统自主导航作业的关键技术之一。农业田间道路复杂多变,快速准确地识别可通行区域,辨析障碍物类别,可为农业装备系统高效安全地进行路径规划和决策控制提供依据。该研究以非结构化农业田间道路场景为研究对象,根据环境对象动、静态属性进行类别划分,提出一种基于通道注意力结合多尺度特征融合的轻量化语义分割模型。首先采用Mobilenet V2轻量卷积神经网络提取图像特征,将混合扩张卷积融入特征提取网络最后2个阶段,在保证特征图分辨率的基础上增加感受野并保持信息的连续性与完整性;然后引入通道注意力模块对特征提取网络各阶段特征通道依据重要程度重新标定;最后通过空间金字塔池化模块将多尺度池化特征进行融合,获取更加有效的全局场景上下文信息,增强对复杂道路场景识别的准确性。语义分割试验表明,不同道路环境下本文模型可以对场景对象进行有效识别解析,像素准确率和平均像素准确率分别为94.85%、90.38%,具有准确率高、鲁棒性强的特点。基于相同测试集将本文模型与FCN-8S、SegNet、DeeplabV3+、BiseNet模型进行对比试验,本文模型的平均区域重合度为85.51%,检测速度达到8.19帧/s,参数数量为,相比于其他模型具有准确性高、推理速度快、参数量小等优点,能够较好地实现精度与速度的均衡。研究成果可为智能农业装备在非结构化道路环境下安全可靠运行提供技术参考。     

基于分组注意力模块的实时农作物病害叶片语义分割模型

针对传统农作物病害识别方法准确率低、鲁棒性差等问题,该研究首先提出一种基于分组激活策略的分组注意力模块,利用高阶特征指导加强低阶特征,通过分组计算组内加强系数,减少不同组之间的抑制作用,加强特征表达能力。对比试验表明,分组注意力模块特征强化效果优于传统注意力模块。基于分组注意力模块,该研究提出一种实时高效农作物病害叶片语义分割模型,该模型融合了编码-解码语义分割模型和多流语义分割模型的优点。采用ResNet18模型作为特征提取网络对农作物病害叶片的语义分割像素精度达到93.9%,平均交并比达到78.6%。在单张NVIDIA GTX1080Ti显卡的硬件环境下,输入分辨率为900×600像素的图片,该模型运行速度达到每秒130.1帧,满足实时农作物病害叶片语义分割需求,为现代农业病害识别、自动施肥和精准灌溉等应用提供参考。     

基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络（Shifted Window Transformer,Swin Transformer）的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入Swin Transformer主干并采用统一感知解析网络作为其高效语义分割框架;改进Swin Transformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51′10-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。     

反卷积引导的番茄叶部病害识别及病斑分割模型

针对当前植物叶部病害识别模型易受阴影、遮挡物及光线强度干扰,特征提取具有盲目和不确定性的问题,该研究构建一种基于反卷积引导的VGG网络（Deconvolution-Guided VGGNet,DGVGGNet）模型,同时实现植物叶部病害种类识别与病斑分割。首先使用VGGNet计算多分类交叉熵损失进行病害分类训练,得到病害分类结果;其次设计反向全连接层,将分类结果恢复为特征图形式;然后采用上采样与卷积操作相结合的方法实现反卷积,利用跳跃连接融合多种特征恢复图像细节;最后使用少量病斑监督,对每个像素点使用二分类交叉熵损失进行训练,引导编码器关注真实的病斑部位。试验结果表明,该研究模型的病害种类识别精度达99.19%,病斑分割的像素准确率和平均交并比分别达94.66%和75.36%,在遮挡、弱光等环境下具有良好的鲁棒性。     

基于改进DenseNet的田间杂草识别

精确、快速地获取作物和杂草的类别信息是实现自动化除草作业的重要前提。为解决复杂环境下农作物田间杂草种类的高效准确识别问题,该研究提出一种基于改进DenseNet的杂草识别模型。首先,在DenseNet-121网络的基础上,通过在每个卷积层后引入ECA（Efficient Channel Attention）注意力机制,增加重要特征的权重,强化杂草特征并抑制背景特征;其次,通过DropBlock正则化随机隐藏杂草图像部分特征块,以提升模型的泛化能力,增强模型识别不同类型杂草的适应性;最后,以自然环境下玉米幼苗和6类伴生杂草作为样本,在相同试验条件下与VGG-16、ResNet-50和未改进的DenseNet-121模型进行对比试验。结果表明,改进的DenseNet模型性能最优,模型大小为26.55 MB,单张图像耗时0.23 s,平均识别准确率达到98.63%,较改进前模型的平均识别准确率提高了2.09%,且综合性能显著高于VGG-16、ResNet-50模型;同时,通过采用CAM（Class Activation Mapping）可视化热度图方法分析,得出改进前后模型的类别判断概率分别为0.68和0.98,本文模型明显高于未改进模型,进一步验证了改进模型的有效性。该模型能够很好地解决复杂环境下农作物和杂草的种类精准识别问题,为智能除草机器人开发奠定了坚实的技术基础。     

基于通道特征金字塔的田间葡萄实时语义分割方法

复杂环境下葡萄的快速检测识别是智能采摘的关键步骤,为解决目前葡萄识别精度低和实时性差的问题,该研究提出一种轻量级葡萄实时语义分割模型（Grape Real-time Semantic Segmentation Model,GRSM）。首先,利用通道特征金字塔（Channel-wise Feature Pyramid,CFP）模块进行特征提取,该模块通过1?3和3?1空洞卷积的跳跃连接,在减少模型参数量的同时提取葡萄图像的多尺度特征和上下文信息;然后,采用池化卷积融合结构完成下采样,增加可训练参数以减少信息损失;最后,利用跳跃连接融合多种特征恢复图像细节。试验结果表明：该研究所提出的模型在田间葡萄测试集上达到了78.8%的平均交并比,平均像素准确率为90.3%,处理速度达到68.56帧/s,网络结构大小仅为4.88MB。该模型具有较高分割识别精度和较好实时性,能满足葡萄采摘机器人对视觉识别系统的要求,为葡萄的智能化采摘提供了理论基础。     

基于颜色分量与直方图的玉米苗期背景分割方法研究

对土壤背景进行有效分割是玉米苗期田间杂草识别的前提和基础。本研究利用颜色分量G-R和G-B与灰度直方图来实现玉米苗期图像与背景图像的分割,解决了玉米苗期田间杂草识别中受影响及环境适应性差等问题。通过对不同环境下苗期玉米图像的植被颜色和背景颜色分量的统计分析表明,采用G-R和G-B双阈值颜色特征分割,进行土壤背景分离取得了很好的效果。     

基于改进蜂群算法优化神经网络的玉米病害图像分割

更加细致的体现病害外部形态特征和较为完好的保留病害区域颜色纹理信息,是玉米等作物病害分割的关键性研究问题之一。该文提出一种基于改进人工蜂群算法的脉冲耦合神经网络图像分割算法,该算法以最大香农熵和最小交叉熵加权线性组合作为蜂群算法收益度评价函数,通过引入尺度因子调整引领蜂和跟随蜂的解搜索策略,改进后人工蜂群算法与脉冲耦合神经网络相结合,实现网络参数的自动优化调节。在RGB色彩子空间上将该算法用于一组玉米常见病害彩色图像分割,并借鉴利用彩色图像合并策略得到最终病害分割结果。试验表明,该文算法较为细致的体现病害外部形态特征,较为完好的保留了颜色纹理信息;利用分割区域色度误分度V(I)值作为评判标准,该文算法V(I)幅值顺次降低2.03%、7.05%、10.15%和11.2%,综合降低了7.32% 也优于对比算法。因此,该文算法为病害彩色图像分割提供了一种较为有效的方法。     

改进MobileViT网络识别轻量化田间杂草

为解决现有的田间杂草识别方法无法兼顾高准确率与实时性的问题,该研究提出了一种基于改进MobileViT网络的轻量化杂草识别方法。首先,该方法使用高效的MobileViT网络构建杂草特征提取网络,在保证特征提取能力的同时实现更少的模型参数量与计算量;其次,通过高效通道注意力机制加强下采样后特征图中的重要特征,进一步提升模型的特征提取能力;最后,特征提取网络中的MobileViT模块被用于同时学习局部语义信息和全局语义信息,仅通过少量模块的组合便能够准确地捕捉到不同类别杂草与作物间细微差异。为验证该方法的有效性,该研究以农田环境下采集的玉米幼苗及其4类伴生杂草图像为数据进行了模型训练,试验结果表明,该方法的识别准确率、精准度、召回率和F1分数分别为99.61%、99.60%、99.58%和99.59%,优于VGG-16、ResNet-50、DenseNet-161、MobileNetv2等常用卷积神经网络;同时,可视化结果表明该方法能够有效提取杂草图像中的关键特征,并抑制背景区域对识别结果的影响。该研究提出的方法能够精准、快速地区分出农田环境下形态相似的多种杂草与作物,可为智能除草设备中的杂草识别系统设计提供参考。     

基于SwinT-YOLACT的玉米果穗实时实例分割

玉米果穗的表型参数是玉米生长状态的重要表征,生长状况的好坏直接影响玉米产量和质量。为方便无人巡检机器人视觉系统高通量、自动化获取玉米表型参数,该研究基于YOLACT（you only look at coefficients）提出一种高精度-速度平衡的玉米果穗分割模型SwinT-YOLACT。首先使用Swin-Transformer作为模型主干特征提取网络,以提高模型的特征提取能力;然后在特征金字塔网络之前引入有效通道注意力机制,剔除冗余特征信息,以加强对关键特征的融合;最后使用平滑性更好的Mish激活函数替换模型原始激活函数Relu,使模型在保持原有速度的同时进一步提升精度。基于自建玉米果穗数据集训练和测试该模型,试验结果表明,SwinT-YOLACT的掩膜均值平均精度为79.43%,推理速度为35.44帧/s,相较于原始YOLACT和其改进算法YOLACT++,掩膜均值平均精度分别提升了3.51和3.38个百分点;相较于YOLACT、YOLACT++和Mask R-CNN模型,推理速度分别提升了3.39、2.58和28.64帧/s。该模型对玉米果穗有较为优秀的分割效果,适于部署在无人巡检机器人视觉系统上,为玉米生长状态监测提供技术支撑。     

基于卷积神经网络提取多尺度分层特征识别玉米杂草

为提高作物与杂草识别的准确率、稳定性和实时性,该文以幼苗期玉米及杂草为研究对象,提出了基于卷积神经网络提取多尺度分层特征的玉米杂草识别方法。首先建立卷积神经网络模型,以从图像的高斯金字塔中提取多尺度分层特征作为识别依据,再与多层感知器相连接实现图像中各像素的识别;为了避免目标交叠所带来的问题,对图像进行超像素分割,通过计算每个超像素内部的平均像素类别分布确定该超像素块的类别,再将相同类别的相邻超像素合并,最终实现图像中各目标的识别。试验结果表明:该方法的平均目标识别准确率达98.92%,标准差为0.55%,识别单幅图像的平均耗时为1.68 s,采用GPU硬件加速后识别单幅图像的平均耗时缩短为0.72 s。该方法实现了精确、稳定和高效的玉米与杂草识别,研究可为精确除草的发展提供参考。     

基于深度全卷积神经网络的大田稻穗分割

稻穗的准确分割是获取水稻穗部性状、实现水稻表型自动化测量的关键。该研究应用水稻图像数据集及数据增广技术,离线训练了用于稻穗分割的3个分别基于Seg Net,Deep LAB和PSPNet的全卷积神经网络。综合考虑分割性能和计算速度,优选了基于Seg Net的网络,称为Panicle Net。在线分割阶段先将原始图像划分为子图,由Panicle Net分割子图,再拼接子图得到分割结果。比较该算法及现有作物果穗分割算法Panicle-SEG、HSeg、i2滞后阈值法及joint Seg,该算法对与训练样本同年度拍摄样本Qseg值0.76、F值0.86,不同年度样本Qseg值0.67、F值0.80,远优于次优的Panicle-SEG算法,且计算速度约为Panicle-SEG算法的35倍。该算法能克服稻穗边缘严重不规则、不同品种及生育期稻穗外观差异大、穂叶颜色混叠和复杂大田环境中光照、遮挡等因素的干扰,提升稻穗分割准确度及效率,进而服务于水稻育种栽培。     

基于卷积神经网络的温室黄瓜病害识别系统

基于图像处理和深度学习技术,该研究构建了一个基于卷积神经网络的温室黄瓜病害识别系统。针对温室现场采集的黄瓜病害图像中含有较多光照不均匀和复杂背景等噪声的情况,采用了一种复合颜色特征(combinations of color features,CCF)及其检测方法,通过将该颜色特征与传统区域生长算法结合,实现了温室黄瓜病斑图像的准确分割。基于温室黄瓜病斑图像,构建了温室黄瓜病害识别分类器的输入数据集,并采用数据增强方法将输入数据集的数据量扩充了12倍。基于扩充后的数据集,构建了基于卷积神经网络的病害识别分类器并利用梯度下降算法进行模型训练、验证与测试。系统试验结果表明,针对含有光照不均匀和复杂背景等噪声的黄瓜病害图像,该系统能够快速、准确的实现温室黄瓜病斑图像分割,分割准确率为97.29%;基于分割后的温室黄瓜病斑图像,该系统能够实现准确的病害识别,识别准确率为95.7%,其中,霜霉病识别准确率为93.1%,白粉病识别准确率为98.4%。     

基于语义分割的作物垄间导航路径识别

针对目前农作物垄间导航路径识别目前存在准确性、实时性差、通用性弱及深度学习模型解释困难等问题,该研究在Unet模型的基础上进行剪枝与优化,提出了保留Unet模型特征跳跃连接优势的Fast-Unet模型,并以模型所识别的导航路径为基础,通过最小二乘法回归生成垄间导航线与偏航角。该研究首先在棉花垄间导航路径数据集上进行模型训练,随后将训练的模型迁移至玉米、甘蔗等小样本数据集进行导航路径识别,通过使用梯度加权类激活映射法对模型识别过程与迁移学习过程进行解释,对各模型识别结果进行可视化对比。Fast-Unet模型对棉花、玉米、甘蔗导航路径提取精度指标平均交并比分别为0.791、0.881和0.940。模型推理速度为Unet的6.48倍,在单核CPU上处理RGB图像的推理速度为64.67帧/s,满足农作物导航路径识别的实时性需求。研究结果可为田间智能农业装备的导航设备研制提供技术与理论基础。