基于通道特征金字塔的田间葡萄实时语义分割方法

复杂环境下葡萄的快速检测识别是智能采摘的关键步骤,为解决目前葡萄识别精度低和实时性差的问题,该研究提出一种轻量级葡萄实时语义分割模型（Grape Real-time Semantic Segmentation Model,GRSM）。首先,利用通道特征金字塔（Channel-wise Feature Pyramid,CFP）模块进行特征提取,该模块通过1?3和3?1空洞卷积的跳跃连接,在减少模型参数量的同时提取葡萄图像的多尺度特征和上下文信息;然后,采用池化卷积融合结构完成下采样,增加可训练参数以减少信息损失;最后,利用跳跃连接融合多种特征恢复图像细节。试验结果表明：该研究所提出的模型在田间葡萄测试集上达到了78.8%的平均交并比,平均像素准确率为90.3%,处理速度达到68.56帧/s,网络结构大小仅为4.88MB。该模型具有较高分割识别精度和较好实时性,能满足葡萄采摘机器人对视觉识别系统的要求,为葡萄的智能化采摘提供了理论基础。     

基于改进空洞卷积神经网络的丘陵山区田间道路场景识别

基于机器视觉的自主导航是智能农业机械的主要导航方式之一。丘陵山区复杂的田间道路场景,使得智能农机在田间道路上的自主导航与避障存在较大的困难。该文根据丘陵山区田间道路图像特征,将田间道路场景对象分为背景、道路、行人、植被、天空、建筑、牲畜、障碍、水塘、土壤和杆等11类,构建了基于空洞卷积神经网络的田间道路场景图像语义分割模型。该模型包括前端模块和上下文模块,前端模块为VGG-16融合空洞卷积的改进结构,上下文模块为不同膨胀系数空洞卷积层的级联,采用两阶段训练方法进行训练。利用CAFFE深度学习框架将改进的网络模型与经典的FCN-8s网络模型进行了对比测试,并进行了道路阴影的适应性测试。语义分割测试结果表明:Front-end+Large网络的统计像素准确率、类别平均准确率以及平均区域重合度都最高,而FCN-8s网络最低;Front-end+Large网络在无阴影道路训练集和有阴影道路训练集上的平均区域重合度分别为73.4%和73.2%,对阴影干扰有良好的适应性。该文实现了丘陵山区田间道路场景像素级的预测,能为智能农业机械在田间道路上基于机器视觉的自主导航和避障奠定基础。     

基于分组注意力模块的实时农作物病害叶片语义分割模型

针对传统农作物病害识别方法准确率低、鲁棒性差等问题,该研究首先提出一种基于分组激活策略的分组注意力模块,利用高阶特征指导加强低阶特征,通过分组计算组内加强系数,减少不同组之间的抑制作用,加强特征表达能力。对比试验表明,分组注意力模块特征强化效果优于传统注意力模块。基于分组注意力模块,该研究提出一种实时高效农作物病害叶片语义分割模型,该模型融合了编码-解码语义分割模型和多流语义分割模型的优点。采用ResNet18模型作为特征提取网络对农作物病害叶片的语义分割像素精度达到93.9%,平均交并比达到78.6%。在单张NVIDIA GTX1080Ti显卡的硬件环境下,输入分辨率为900×600像素的图片,该模型运行速度达到每秒130.1帧,满足实时农作物病害叶片语义分割需求,为现代农业病害识别、自动施肥和精准灌溉等应用提供参考。     

改进MobileViT网络识别轻量化田间杂草

为解决现有的田间杂草识别方法无法兼顾高准确率与实时性的问题,该研究提出了一种基于改进MobileViT网络的轻量化杂草识别方法。首先,该方法使用高效的MobileViT网络构建杂草特征提取网络,在保证特征提取能力的同时实现更少的模型参数量与计算量;其次,通过高效通道注意力机制加强下采样后特征图中的重要特征,进一步提升模型的特征提取能力;最后,特征提取网络中的MobileViT模块被用于同时学习局部语义信息和全局语义信息,仅通过少量模块的组合便能够准确地捕捉到不同类别杂草与作物间细微差异。为验证该方法的有效性,该研究以农田环境下采集的玉米幼苗及其4类伴生杂草图像为数据进行了模型训练,试验结果表明,该方法的识别准确率、精准度、召回率和F1分数分别为99.61%、99.60%、99.58%和99.59%,优于VGG-16、ResNet-50、DenseNet-161、MobileNetv2等常用卷积神经网络;同时,可视化结果表明该方法能够有效提取杂草图像中的关键特征,并抑制背景区域对识别结果的影响。该研究提出的方法能够精准、快速地区分出农田环境下形态相似的多种杂草与作物,可为智能除草设备中的杂草识别系统设计提供参考。     

基于双注意力语义分割网络的田间苗期玉米识别与分割

为实现复杂田间场景中幼苗期玉米和杂草的准确识别与区域划分,该研究提出改进的双注意力语义分割方法,通过获取形态边界实现玉米幼苗的识别与精细分割,在此基础上采用形态学处理方法识别图像中除玉米外的全部杂草区域。首先对6种当前最高性能的语义分割网络进行对比,确定模型原始架构;建立幼苗期玉米语义分割模型,包括改进深层主干网络增强特征,引入双注意力机制构建特征的场景语义依赖关系,以编码器-解码器结构组建模型并增加辅助网络优化底层特征,改进损失函数协调模型整体表现,制定改进的迁移学习策略;提出图像形态学处理方法,基于玉米像素分割结果,生成杂草分割图。测试结果表明,模型的平均交并比、平均像素识别准确率分别为94.16%和95.68%,相比于原网络分别提高1.47%和1.08%,识别分割速度可达15.9帧/s。该研究方法能够对复杂田间场景中的玉米和杂草进行准确识别与精细分割,在仅识别玉米的前提下识别杂草,有效减少图像标注量,避免田间杂草种类的多样性对识别精度的影响,解决玉米与杂草目标交叠在形态边界上难以分割的问题,研究结果可为智能除草装备提供参考。     

耦合全局与局部特征的苹果叶部病害识别模型

为充分利用苹果叶部病害图像类间差异小且类内差异大的特点,该研究基于全局与局部特征的交互式耦合对特征提取方法进行了优化,设计出一种苹果叶部病害识别模型。首先,在全局特征提取分支设计了一个注意力融合模块,以融合通道和空间上的信息而增强卷积提取到的特征图,并由增强后的特征图生成全局特征以及注意力激活图;然后,在局部特征提取分支,利用注意力激活图的引导,设计了一个裁剪模块对原图像进行裁剪,以得到可能包含病害信息的图像块且嵌入生成局部特征;最后,通过设计多头交叉注意力特征耦合模块,实现全局特征和局部特征的双向交叉耦合。基于苹果病害图像数据集的试验结果表明,将全局与局部特征进行交互耦合能有效提升模型对苹果叶部病害图像的特征提取能力,其识别准确率可达到98.23%,且较之单纯的局部或全局特征提取分支,准确率分别提高了3.39与4.61个百分点,所提模型可用于实现自然场景下的苹果叶部病害自动识别。     

基于卷积神经网络提取多尺度分层特征识别玉米杂草

为提高作物与杂草识别的准确率、稳定性和实时性,该文以幼苗期玉米及杂草为研究对象,提出了基于卷积神经网络提取多尺度分层特征的玉米杂草识别方法。首先建立卷积神经网络模型,以从图像的高斯金字塔中提取多尺度分层特征作为识别依据,再与多层感知器相连接实现图像中各像素的识别;为了避免目标交叠所带来的问题,对图像进行超像素分割,通过计算每个超像素内部的平均像素类别分布确定该超像素块的类别,再将相同类别的相邻超像素合并,最终实现图像中各目标的识别。试验结果表明:该方法的平均目标识别准确率达98.92%,标准差为0.55%,识别单幅图像的平均耗时为1.68 s,采用GPU硬件加速后识别单幅图像的平均耗时缩短为0.72 s。该方法实现了精确、稳定和高效的玉米与杂草识别,研究可为精确除草的发展提供参考。     

基于DBSE-Net的大田稻穗图像分割

稻穗精准分割是准确估测水稻产量的关键。为实现大田环境下不同品种与生育期稻穗的准确分割,该研究提出了基于注意力机制的稻穗分割网络（Double Branch Squeeze-and-Excitation Network,DBSE-Net）。首先,提出一个双分支压缩与激励（Double Branch Squeeze-and-Excitation,DBSE）注意力模块,通过同时使用全局平均池化（Global Average Pooling,GAP）和全局最大池化（Global Max Pooling,GMP）编码输入特征的通道信息,以实现更精准的通道注意力推断。然后,为了强化稻穗特征并抑制背景区域特征,将DBSE模块添加到编码-解码分割框架中构建DBSE-Net分割网络。最后,在自采集的稻穗图像数据集上进行分割性能测试,DBSE-Net对稻穗分割的像素准确率、平均交并比和F1分数分别达到了94.32%、87.59%和91.86%,比次优模型DeeplabV3+的结果分别高出1.61、2.56和1.20个百分点,在单张256×256（像素）图像上耗时0.03 s,是DeeplabV3+分割速度的5.3倍。在公开的稻穗图像数据集上进行泛化性能测试,DBSE-Net能够有效分割出稻穗区域。该研究结果表明,DBSE-Net能够对不同品种与生育期稻穗实现高效精准分割,具有良好的泛化性,可以为水稻产量评估提供参考。     

空洞卷积结合全局池化的卷积神经网络识别作物幼苗与杂草

针对传统Alex Net模型参数大、特征尺度单一的问题,该文提出一种空洞卷积与全局池化相结合的多尺度特征融合卷积神经网络识别模型。通过对初始卷积层的卷积核进行膨胀,以增大其感受野而不改变参数计算量,并采用全局池化代替传统的全连接层来减少模型的参数。通过设置不同膨胀系数的初始卷积层卷积核与全局池化层类型,以及设置不同Batch Size,得到8种改进模型,用于训练识别共12种农作物幼苗与杂草,并从建立的模型中选出最优模型。改进后的最优模型与传统Alex Net模型相比,仅经过4次训练迭代,就能达到90%以上的识别准确率,平均测试识别准确率达到98.80%,分类成功指数达到96.84%,模型内存需求减少为4.20 MB。实际田间预测野芥与雀麦幼苗的准确率都能达到75%左右,说明该文最优模型对正常情况下的幼苗识别性能较好,但对复杂黑暗背景下的甜菜幼苗准确率为60%,对恶劣背景下的识别性能还有待提升。由于模型使用了更宽的网络结构,增加了特征图的多尺度融合,保持对输入空间变换的不变性,故对正常情况下不同作物幼苗与杂草的识别能力较强。该文改进模型能达到较高的平均识别准确率及分类成功率,可为后续深入探索复杂田间背景下的杂草识别以及杂草与幼苗识别装置的研制打下基础。     

基于轻量型残差网络的自然场景水稻害虫识别

准确识别水稻害虫对水稻及时采取防护和治理措施具有重要意义,该研究以自然场景中水稻害虫图像为研究对象,针对水稻害虫图像的颜色纹理与背景相近以及同类害虫形态差异较大等特点,设计了一个由特征提取、全局优化以及局部优化模块构成的轻量型残差网络（Light Weight Residual Network,LW-ResNet）用于水稻害虫识别。在特征提取模块通过增加卷积层数以及分支数对残差块进行改进,有效提取自然场景中水稻害虫图像的深层全局特征并使用全局优化模块进行优化;局部优化模块通过设计轻量型注意力子模块关注害虫的局部判别性特征。LW-ResNet网络在特征提取模块减少了残差块的数量,在注意力子模块中采用深度可分离卷积减少了浮点运算量,从而实现了模型的轻量化。试验结果表明,所设计的LW-ResNet网络在13类水稻害虫图像的测试数据集上达到了92.5%的识别准确率,高于VGG16、ResNet、AlexNet等经典卷积神经网络模型,并且LW-ResNet网络的参数量仅为1.62×106个,浮点运算量仅为0.34×109次,低于MobileNetV3轻量级卷积神经网络模型。该研究成果可用于移动端水稻害虫的自动识别。     

河套灌区玉米根系对残膜的响应及根系分布模型

为明确土壤中不同残膜量对根系生长和分布的影响，该研究于2019—2020年在河套灌区九庄农业综合节水试验站设置了5个农膜残留量水平，分别为CK（0 kg/hm2）、T1（150 kg/hm2）、T2（300 kg/hm2）、T3（450 kg/hm2）和T4 （600 kg/hm2），研究不同残膜量对玉米根长密度、不同径级根系分配及根系分布等影响，并引入残膜量，建立了适用于农膜残留农田的根系分布模型。结果表明，根系在水平分布时，侧根区的根系受残膜影响显著（P＜0.05），当残膜量为300 kg/hm2（T2）时根长密度出现突降现象，降幅为75.98%；垂直分布时，根系随残膜量增加呈明显下降趋势，特别是在0～30 cm土层，当残膜量达到450 kg/hm2时，根长密度降低50.02%。另外，残膜减小了玉米粗根比例（d﹥2 mm，d为根系直径），降幅为29.25%；增加了细根比例（d≤2 mm），为4.80%。构建考虑残膜量的相对根长密度（Residual Plastic Film-Normalized Root Length Density，RPF-NRLD）分布模型精度较高，其中决定系数（R2）为0.961，均方根误差（RMSE）为0.282，平均相对误差（MRE）为18.87%。同时考虑不同径级根系的RPF-NRLD分布模型模拟显示，玉米极细根和细根的MRE分别为14.91%和14.96%，粗根的MRE为35.41%。基于RPF-NRLD分布模型进行情景分析显示当农田残膜量控制在0～100 kg/hm2范围内，根系能够维持正常生长，特别是极细根和细根，根长密度未出现大幅下降。该研究对于残膜污染区作物生长的数值模拟研究及残膜回收政策的制定具有科学意义。     

基于改进FCN-8s的灵武长枣图像分割方法

针对不同成熟度灵武长枣图像中多尺度长枣目标的分割问题,该研究提出了一种基于改进FCN-8s的灵武长枣图像分割方法。首先,建立包含不同成熟度灵武长枣图像的数据集。其次,提出一个多尺度特征提取模块,该模块以3×3卷积为主分支,增加1×1卷积和5×5深度可分离卷积作为辅助分支,以提取灵武长枣图像中的多尺度特征。然后,用多尺度特征提取模块替换FCN-8s中的3×3卷积,又对FCN-8s网络结构做了一定的改进,得到了改进FCN-8s。最后,在灵武长枣数据集上进行试验,结果表明,改进FCN-8s的枣类交并比、平均交并比、像素准确率、召回率和像素准确率、召回率的调和平均值F_1分数分别达到了93.50%、96.41%、98.44%、97.86%和98.15%,比原FCN-8s的各项评价指标分别高出了11.31、6.20、1.51、5.21和3.14个百分点。网络参数量为5.37×106,分割速度为16.20帧/s。改进FCN-8s满足了灵武长枣智能化采摘机器人对视觉识别系统的要求,为实现灵武长枣的智能化采摘提供了技术支持。     

基于SegNet语义模型的高分辨率遥感影像农村建设用地提取

针对传统分类算法、浅层学习算法不适用于高空间分辨率遥感影像中农村建筑物信息提取的问题,该文以河北省霸州市高空间分辨率遥感影像WorldView-2为数据源,利用182 064幅128×128像素大小的影像切片为训练样本,选取基于深度卷积神经网络的SegNet图像语义分割算法对遥感影像中的农村建筑物进行提取,并与传统分类算法中的最大似然法(maximum likelihood,ML)和ISO聚类、浅层学习算法中的支持向量机(support vector machine,SVM)和随机森林(random forest,RF)以及深层语义分割算法中的金字塔场景解析网络(pyramid scene parsing network,PSPNet)的试验结果作对比分析。研究结果表明:SegNet不仅能够高效利用高空间分辨率遥感影像中农村建筑物的光谱信息而且还能够充分利用其丰富的空间特征信息,最终形成较好的分类模型,该算法在验证样本中的分类总体精度为96.61%,Kappa系数为0.90,建筑物的F1值为0.91,其余5种分类算法的总体精度、Kappa系数、建筑物的F1值都分别在94.68%、0.83、0.87以下。该研究可以为高空间分辨率遥感影像农村建设用地提取研究提供参考。     

田间道路改进UNet分割方法

为了保证自动驾驶农机的安全行驶,需要对农田间道路进行高精度识别。该研究以北京市大兴区榆垡镇为研究地点,构建了农田间道路图像数据集,使用开源标注工具Labelme软件进行图像标注,以UNet为基本网络结构,针对分割过程中存在的道路边缘和远处道路分割效果较差等现象,提出了3个改进方向:在编码器网络中添加残差连接,增加网络复杂度;使用池化卷积融合结构完成下采样,增加可训练参数以减少信息损失。试验结果表明,使用ACBlock(Asymmetric Convolution Block,ACBlock)和DACBlock(Dilated Asymmetric Convolution Block, DACBlock)替换UNet中的卷积核,增加了卷积核"骨架"结构的权重和卷积核的感受野,提高了远处道路及道路边缘的分割效果,农田间道路分割的交并比值为85.03%,相较于原UNet提高了6.52个百分点,且高于ResUNet、UNet3+等网络。农机行驶速度在20 km/h左右,该研究网络对于1280×720像素大小的图片平均推理时间为163 ms,符合农机自动驾驶时间复杂度要求。该研究提高了自动驾驶农机对农田间道路的感知能力,为安全行驶提供了信息支持。     

基于轻量级CNN-Transformer混合网络的梯田图像语义分割

梯田是一种传统的农业种植方式,发挥着稳定作物生产与水土保持效能,修筑梯田是发展农业生产的重要措施之一。快速、准确地对梯田区域分布信息进行采集,对提高粮食产量、治理水土流失以及规划区域生态等方面具有重要的作用与意义。无人机图像梯田道路边界模糊、具有较长的带状结构,为了更准确地获取梯田的边缘信息,受MobileVit启发,该研究在MobileViT block中引入了轴向注意力机制(axial attention),并采用编码器-解码器结构,提出了基于轻量级CNN-Transformer混合构架网络模型。模型编码器部分由改进的MobileViT block、融入了条形池化的逆残差模块和空洞空间金字塔池化模块构成,再通过有效设计摆放各模块的位置顺序来实现局部与全局的视觉表征信息交互,得到完整的全局特征表达;利用解码器对编码器提取到的多尺度特征图进行采样和卷积操作得到语义分割结果图。选取PSPNet、LiteSeg、BisNetv2、Deeplabv3Plus、MobileViT在相同测试集上进行对比试验,结果表明,该研究所提模型在精度与速度方面均具有一定的优势,其像素精度可达95.79%,频权交并比可达94.86%,模型参数量为8.32 M,实现了使用较少的参数和简单的方法对复杂无规则的无人机图像梯田区域对象较为准确的分割,将其部署到无人机上可以进一步获取梯田的形状、位置、轮廓等信息,及时准确地掌握梯田边缘信息为预防和修护加固梯田提供重要的依据,同时有助于梯田区域种植面积和范围的统计,以期为梯田和旱作区农业建设的发展提供参考。     

反卷积引导的番茄叶部病害识别及病斑分割模型

针对当前植物叶部病害识别模型易受阴影、遮挡物及光线强度干扰,特征提取具有盲目和不确定性的问题,该研究构建一种基于反卷积引导的VGG网络(Deconvolution-GuidedVGGNet,DGVGGNet)模型,同时实现植物叶部病害种类识别与病斑分割。首先使用VGGNet计算多分类交叉熵损失进行病害分类训练,得到病害分类结果;其次设计反向全连接层,将分类结果恢复为特征图形式;然后采用上采样与卷积操作相结合的方法实现反卷积,利用跳跃连接融合多种特征恢复图像细节;最后使用少量病斑监督,对每个像素点使用二分类交叉熵损失进行训练,引导编码器关注真实的病斑部位。试验结果表明,该研究模型的病害种类识别精度达99.19%,病斑分割的像素准确率和平均交并比分别达94.66%和75.36%,在遮挡、弱光等环境下具有良好的鲁棒性。     

多尺度融合卷积神经网络的黄瓜病害叶片图像分割方法

黄瓜病害叶片中的病斑区域分割是病害检测与类型识别的关键步骤,分割效果将直接影响病害检测和识别的精度。针对传统方法对于黄瓜病害叶片图像分割精度低和泛化能力弱等问题,提出一种基于多尺度融合卷积神经网络(Multi-ScaleFusionConvolutionalNeuralNetworks,MSF-CNNs)的黄瓜病害叶片分割方法。MSF-CNNs由编码网络(EncoderNetworks,ENs)和解码网络(DecoderNetworks,DNs)两部分组成,其中ENs为一个多尺度卷积神经网络组成,用于提取病害叶片图像的多尺度信息;DNs基于九点双线性插值算法,用于恢复输入图像的尺寸和分辨率。在MSF-CNNs模型训练的过程中,使用一种渐进微调的迁移学习方法加速模型的训练,提高模型的分割精度。在复杂背景下的作物病害叶片图像数据库上进行病害叶片图像分割试验,并与现有的分割方法全卷积网络(FullyConvolutional Networks,FCNs)、Seg Net、U-Net、Dense Net进行比较。结果表明,该MSF-CNNs能够满足复杂环境下的黄瓜病害叶片图像分割需求,像素分类精度为92.38%、平均分割准确率为93.12%、平均交并比为91.36%、频率加权交并比为89.76%。与FCNs、Seg Net、U-Net、Dense Net相比较,MSF-CNNs的平均分割精度分别提高了13.00%、10.74%、10.40%、10.08%和6.40%。使用渐进学习训练方式后,训练时间缩短了0.9 h。该方法为进一步的黄瓜病害检测和识别方法研究提供了参考。     

基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络(Shifted Window Transformer,Swin Transformer)的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入SwinTransformer主干并采用统一感知解析网络作为其高效语义分割框架;改进SwinTransformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51×10^-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。