基于轻量和积网络及无人机遥感图像的大豆田杂草识别

为提高机器视觉在无人机等小型嵌入式设备中杂草识别的准确率,该文以大豆苗中常见禾本科杂草和阔叶型杂草为研究对象,针对传统和积网络在图像分类任务中模型参数多、训练时间长、含有较多冗余节点和子树的问题,该文改进传统和积网络的学习过程,提出一种以小批量数据作为输入的轻量和积网络。在结构学习中,当积节点作用域内的变量个数小于一定阈值时,合并积节点为多元叶节点,否则将积节点重组为和积混合结构,并对边缘节点进行裁剪,有效降低了模型的参数量和复杂度。在参数学习中,提出贝叶斯矩匹配更新网络参数,使得模型对小样本的学习效率更高。最后结合K均值聚类算法应用于无人机图像中的杂草识别。试验结果表明,利用该方法对无人机图像中大豆苗、禾本科杂草、阔叶型杂草以及土壤的平均识别准确率达99.5%,高于传统和积网络和传统AlexNet。并且模型平均参数量仅为传统和积网络的33%,内存需求最大时减少了549 M,训练时间最多减少了688.79 s。该研究可为轻量和积网络模型在无人机喷洒农药中的杂草识别提供参考。     

改进MobileViT网络识别轻量化田间杂草

为解决现有的田间杂草识别方法无法兼顾高准确率与实时性的问题,该研究提出了一种基于改进MobileViT网络的轻量化杂草识别方法。首先,该方法使用高效的MobileViT网络构建杂草特征提取网络,在保证特征提取能力的同时实现更少的模型参数量与计算量;其次,通过高效通道注意力机制加强下采样后特征图中的重要特征,进一步提升模型的特征提取能力;最后,特征提取网络中的MobileViT模块被用于同时学习局部语义信息和全局语义信息,仅通过少量模块的组合便能够准确地捕捉到不同类别杂草与作物间细微差异。为验证该方法的有效性,该研究以农田环境下采集的玉米幼苗及其4类伴生杂草图像为数据进行了模型训练,试验结果表明,该方法的识别准确率、精准度、召回率和F1分数分别为99.61%、99.60%、99.58%和99.59%,优于VGG-16、ResNet-50、DenseNet-161、MobileNetv2等常用卷积神经网络;同时,可视化结果表明该方法能够有效提取杂草图像中的关键特征,并抑制背景区域对识别结果的影响。该研究提出的方法能够精准、快速地区分出农田环境下形态相似的多种杂草与作物,可为智能除草设备中的杂草识别系统设计提供参考。     

基于改进DenseNet的田间杂草识别

精确、快速地获取作物和杂草的类别信息是实现自动化除草作业的重要前提。为解决复杂环境下农作物田间杂草种类的高效准确识别问题,该研究提出一种基于改进DenseNet的杂草识别模型。首先,在DenseNet-121网络的基础上,通过在每个卷积层后引入ECA（Efficient Channel Attention）注意力机制,增加重要特征的权重,强化杂草特征并抑制背景特征;其次,通过DropBlock正则化随机隐藏杂草图像部分特征块,以提升模型的泛化能力,增强模型识别不同类型杂草的适应性;最后,以自然环境下玉米幼苗和6类伴生杂草作为样本,在相同试验条件下与VGG-16、ResNet-50和未改进的DenseNet-121模型进行对比试验。结果表明,改进的DenseNet模型性能最优,模型大小为26.55 MB,单张图像耗时0.23 s,平均识别准确率达到98.63%,较改进前模型的平均识别准确率提高了2.09%,且综合性能显著高于VGG-16、ResNet-50模型;同时,通过采用CAM（Class Activation Mapping）可视化热度图方法分析,得出改进前后模型的类别判断概率分别为0.68和0.98,本文模型明显高于未改进模型,进一步验证了改进模型的有效性。该模型能够很好地解决复杂环境下农作物和杂草的种类精准识别问题,为智能除草机器人开发奠定了坚实的技术基础。     

采用改进YOLOv4-tiny的复杂环境下番茄实时识别

实时识别番茄的成熟度是番茄自主采摘车的关键功能。现有目标识别算法速度慢、对遮挡番茄和小番茄识别准确率低。因此,该研究提出一种基于改进YOLOv4-tiny模型的番茄成熟度识别方法。在头部网络（Head network）部分增加一个76×76的检测头（y3）来提高小番茄的识别准确率。为了提高被遮挡番茄的识别准确率,将卷积注意力模块（Convolution Block Attention Module,CBAM）集成到YOLOv4-tiny模型的骨干网络（Backbone network）部分。在深层卷积中使用Mish激活函数替代ReLU激活函数以保证提取特征的准确性。使用密集连接的卷积网络（Densely Connected Convolution Networks, DCCN）来加强全局特征融合,并建立红风铃番茄成熟度识别的数据集。试验结果表明,与YOLOv3、YOLOv4、YOLOv4-tiny、YOLOv5m和YOLOv5l模型相比,改进YOLOv4-tiny-X模型的平均精度均值（mean Average Precision, mAP）分别提高了30.9、0.2、0.7、5.4和4.9个百分点,在Nvidia GTX 2060 GPU 上达到111帧/s的速度,平均精度均值达到97.9%。不同模型的实时测试可视化结果表明,改进模型能够有效解决遮挡和小番茄识别准确率低的问题,可为番茄采摘车研制提供参考。     

基于卷积神经网络的菊花花型和品种识别

菊花作为国内十大名花之一,具有极为重要的观赏价值和经济价值,表现为种类丰富、花样瓣形繁多的特点,这些特征对其智能识别和高效的管理带来很大挑战。目前菊花的识别和管理主要靠人工方式,效率不高。本文基于端到端的卷积神经网络技术,直接作用于菊花的原始图像数据,通过逐层进行特征学习,进而利用多层网络获取菊花的特征信息,从而避免了人工提取特征的困难和问题,在此基础上使用优化目标函数实现菊花花型的高效、智能识别。针对菊花花型之间差别细微的特点,在细粒度上实现区分相同花型和不同花型的目标函数,系统不仅能够识别菊花花型,还能给出菊花所属的概率值和该花型涵盖的菊花品种。系统的实现分为离线训练和在线识别2个阶段,训练处的模型可以离线托管在云端以便在移动环境下使用。为了训练网络模型,采集了大量的菊花图像样本,并手工标注了相关的花型和类别信息,在此数据集上,与现有的典型系统进行了对比试验,试验表明:系统平均识别率可以达到0.95左右,部分达到0.98,系统识别精度得到明显提升,除此之外系统还能提供更加详细的菊花种类信息,实现了的菊花花型和品种智能识别和高效管理,具有重要的理论和应用价值,为菊花的自动化管理提供了有力的手段。     

基于剪切波变换和无人机麦田图像的区域杂草识别方法

区域杂草的识别有利于植保作业中的除草剂精准喷施。现有图像处理技术主要针对行间和株间杂草,而传统的图像采集与分析设备对苗期麦田杂草的识别存在一定局限性,难以满足非人工的区域性喷洒农药等作业需求。由于麦田区域中的麦苗和杂草具有形态和颜色区分度差的特点,传统的图像识别方法难以有效识别。针对此问题,该文提出利用剪切波变换对无人机麦田区域图像中杂草进行识别。该方法利用其自身的方向敏感性以及在纹理识别中的方向无关性,根据麦田区域图像在杂草较多的部分叶片纹理杂乱,反之则纹理相对规则的特点,处理得到不同尺度和不同方向下小麦与杂草的剪切波系数。然后针对小麦和杂草剪切波系数的不同特征,对剪切波系数矩阵进行归一化处理,同时对其均值和方差进行了统计分析,得到麦苗和杂草剪切波系数图中竖直锥第二尺度所有系数均值的区分值约为0.07,第二尺度各个方向的均方差均值的区分值约为0.08。通过对含杂草麦苗区域图像以及麦苗区域图像的验证,准确率为69.2%,效果优于传统的灰度共生矩阵方法。此外,该文对无人机拍摄区域图采用分块的方法,实现了对非麦苗区域的有效标识。由此可见,剪切波变换方法能够为基于低空植保无人机喷洒农药中的区域杂草识别提供参考。     

基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络(Shifted Window Transformer,Swin Transformer)的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入SwinTransformer主干并采用统一感知解析网络作为其高效语义分割框架;改进SwinTransformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51×10^-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。     

基于TPH-YOLO的无人机图像麦穗计数方法

在无人机上安装光学传感器捕捉农作物图像是一种经济高效的方法，它有助于产量预测、田间管理等。该研究以无人机小麦作物图像为研究对象，针对图像中麦穗分布稠密、重叠现象严重、背景信息复杂等特点，设计了一种基于TPH-YOLO(YOLO with transformer prediction heads)的麦穗检测模型，提高无人机图像麦穗计数的精度。首先，为了减小光照不均匀对无人机图像质量造成的影响，该研究采用Retinex算法进行图像增强处理。其次，在YOLOv5的骨干网络中添加坐标注意力机制（coordinateattention,CA），使模型细化特征，更加关注麦穗信息，抑制麦秆、麦叶等一些背景因素的干扰。再次，将YOLOv5中原始的预测头转换为Transformer预测头（transformer prediction heads,TPH），该预测头具有多头注意力机制的预测潜力，可以在高密度场景下准确定位到麦穗。最后，为了提高模型的泛化能力和检测精度，采用了迁移学习的训练策略，先使用田间采集的小麦图像数据集对模型进行预训练，接着再使用无人机采集的小麦图像数据集对模型进行参数更新和优化训练，...     

基于PINNs的单旋翼植保无人机下洗流场预测模型

植保无人机（unmanned aerial vehicle,UAV）进行喷施作业时,旋翼高速旋转所产生的下洗流场是影响雾滴飘移的重要因素。为了快速准确地预测单旋翼植保无人机下洗流场的速度等流场参数,提升无人机精准施药效果,该研究基于物理信息神经网络（physics-informed neural networks,PINNs）构建了单旋翼植保无人机下洗流场的预测模型。在全连接神经网络结构的基础上,嵌入纳维-斯托克斯（Navier-Stokes,N-S）方程作为物理学损失项来参与训练,减轻网络模型对数据依赖性的同时增强了模型的可解释性。通过最小化损失函数,使得该模型学习到流场中流体的运动规律,以得到时空坐标与速度信息等物理量之间的映射关系,从而实现对单旋翼无人机下洗流场的速度等参数的快速预测。并通过风洞试验验证了该预测模型的可行性和准确性,结果表明：没有侧风的情况下,预测模型在旋翼下方0.3、0.7、1.1以及1.5 m 4个不同高度处各向速度的预测值和试验值的误差均小于0.6 m/s,具有较小的差异性;不同侧风风速情况下,水平和竖直方向速度的预测值与试验值的总体拟合优度R2分别为0.941和0.936,表明所提出的模型在单旋翼植保无人机下洗流场预测方面具有良好的应用效果,能够快速准确地预测下洗流场的速度信息。结果可为进一步研究旋翼风场对雾滴沉积分布特性的影响机理提供数据支撑。     

基于光谱特性分析的冬油菜苗期田间杂草识别

杂草识别是自动除草的关键环节,运用光谱分析技术可以快速识别杂草。该文以冬油菜苗、冬油菜苗期杂草和土壤为研究对象,通过ASD便携式光谱分析仪采集光谱数据。对每个样本连续采集5组数据,经平均、一阶导数、压缩等预处理后,得到368组波长在400～2300 nm范围内的光谱数据。采用逐步判别分析法,按统计量Wilks’ Lambda最小值原则选择变量,选取了710、755、950和595 nm共4个特征波长。运用4个特征波长分别建立了典型判别函数模型和贝叶斯判别函数模型。用这2组模型分别对预测集进行预测,典型判别函数模型的正确识别率为97.78%,在不同的先验概率下贝叶斯判别函数模型的正确识别率分别为98.89%和97.78%。结果表明：当先验概率根据类别大小计算时,以特征波长建立的贝叶斯判别函数模型能较好的识别冬油菜苗期田间杂草,而且模型稳定。该研究结果可为杂草探测光谱传感器的开发提供参考。     

基于双注意力语义分割网络的田间苗期玉米识别与分割

为实现复杂田间场景中幼苗期玉米和杂草的准确识别与区域划分,该研究提出改进的双注意力语义分割方法,通过获取形态边界实现玉米幼苗的识别与精细分割,在此基础上采用形态学处理方法识别图像中除玉米外的全部杂草区域。首先对6种当前最高性能的语义分割网络进行对比,确定模型原始架构;建立幼苗期玉米语义分割模型,包括改进深层主干网络增强特征,引入双注意力机制构建特征的场景语义依赖关系,以编码器-解码器结构组建模型并增加辅助网络优化底层特征,改进损失函数协调模型整体表现,制定改进的迁移学习策略;提出图像形态学处理方法,基于玉米像素分割结果,生成杂草分割图。测试结果表明,模型的平均交并比、平均像素识别准确率分别为94.16%和95.68%,相比于原网络分别提高1.47%和1.08%,识别分割速度可达15.9帧/s。该研究方法能够对复杂田间场景中的玉米和杂草进行准确识别与精细分割,在仅识别玉米的前提下识别杂草,有效减少图像标注量,避免田间杂草种类的多样性对识别精度的影响,解决玉米与杂草目标交叠在形态边界上难以分割的问题,研究结果可为智能除草装备提供参考。     

基于半监督学习的松林变色疫木检测方法

针对模型训练中数据标注成本过高的问题,提出一种基于无人机图像分析的半监督变色疫木目标检测方法。该方法提出级联抗噪声半监督目标检测模型（Cascade Noise-Resistant Semi-supervised object detection,CNRS）,使用抗噪声学习提升模型对伪标签的学习质量;通过级联网络解决训练中正负样本的分布问题;使用ResNet50和特征金字塔网络结构增强模型对多尺寸和小目标疫木的识别能力;在监督学习阶段使用FocalLoss,提升网络对边缘目标和早期疫木等困难样本的学习,使用SmoothL1Loss保证梯度相对稳定;在RCNN阶段使用软化非极大抑制软化检测框剔除过程。该文提出的半监督目标检测模型CNRS使用训练集中半数标注的数据进行训练,试验结果表明,最优模型在测试集上的平均精度（Average Precision,AP）可达87.7%,与Faster RCNN使用完全标注数据相比,标注量减少了50%,且AP提升了2.3个百分点,与同时期最先进的半监督模型Combating Noise相比,AP提升了1.6个百分点。该方法在准确检出多种不同形态疫木的基础...     

基于通道特征金字塔的田间葡萄实时语义分割方法

复杂环境下葡萄的快速检测识别是智能采摘的关键步骤,为解决目前葡萄识别精度低和实时性差的问题,该研究提出一种轻量级葡萄实时语义分割模型（Grape Real-time Semantic Segmentation Model,GRSM）。首先,利用通道特征金字塔（Channel-wise Feature Pyramid,CFP）模块进行特征提取,该模块通过1?3和3?1空洞卷积的跳跃连接,在减少模型参数量的同时提取葡萄图像的多尺度特征和上下文信息;然后,采用池化卷积融合结构完成下采样,增加可训练参数以减少信息损失;最后,利用跳跃连接融合多种特征恢复图像细节。试验结果表明：该研究所提出的模型在田间葡萄测试集上达到了78.8%的平均交并比,平均像素准确率为90.3%,处理速度达到68.56帧/s,网络结构大小仅为4.88MB。该模型具有较高分割识别精度和较好实时性,能满足葡萄采摘机器人对视觉识别系统的要求,为葡萄的智能化采摘提供了理论基础。     

基于图像分块及重构的菠菜重叠叶片与杂草识别

针对重叠叶片在识别过程中存在识别率低、形状特征失效等问题,该研究提出一种基于图像分块及重构的方法,实现菠菜重叠叶片杂草识别。采用超绿模型将菠菜RGB图像进行灰度化得到绿色植被前景图像。针对重叠叶片形状特征失效问题,采用图像分块方式得到不同大小的图像块,并提取图像块中作物和杂草的颜色特征、局部二值模式(local binary pattern,LBP)纹理特征、分形盒维数共78维特征,构造支持向量机(support vector machine,SVM)分类器完成图像块的分类识别。该研究提出图像块边缘扩充和投票窗口机制得到重构图实现图像块分类结果可视化。试验结果表明,该研究提出的方法平均识别率达到83.78%,高于K最近邻法(K-Nearest neighbor,KNN)、决策树法等,可以实现重叠叶片的杂草识别,从而为智能除草机的研制提供理论依据。     

基于多特征融合和深度置信网络的稻田苗期杂草识别

杂草的准确识别是田间杂草精准防控管理的前提,机器视觉技术是实现杂草准确识别的有效手段。该文以水稻苗期杂草为研究对象,采集稻田自然背景下和不同光照条件下的6种杂草图像共928幅,包括空心莲子草、丁香蓼、鳢肠、野慈姑、稗草和千金子。采用1.1G-R颜色因子将杂草RGB图像进行灰度化,选择自动阈值自动分割得到杂草前景二值图像,通过腐蚀膨胀形态学操作进行叶片内部孔洞填充,应用面积滤波去除其他干扰目标,最后将杂草二值图像与RGB图像进行掩膜运算得到去除背景的杂草图像;提取杂草图像的颜色特征、形状特征和纹理特征共101维特征,并对其进行归一化处理。在双隐含层和单隐含层的深度置信网络(deep belief networks,DBN)结构基础上,对DBN隐含层节点数选择方法进行研究。针对双隐含层DBN节点数,选择恒值型、升值型和降值型3种节点组合方式进行优化研究,当网络结构为101-210-55-6时杂草识别率为83.55%;通过对单隐含层节点参数优化得到网络结构为101-200-6时杂草识别率达到91.13%。以同一测试样本的运行时间值作为模型的测试时间对3种不同模型进行耗时测试,SVM模型、BP模型和DBN模型测试结果分别为0.029 7、0.030 6和0.034 1 s,试验结果表明基于多特征融合的DBN模型的识别精度最高,且耗时较其他2种模型相差不大,可满足实时检测的速度要求,所以在实际应用中应优先选择基于多特征融合的DBN模型。该研究可为稻田杂草识别与药剂选择性喷施提供参考。     

基于ViT-改进YOLOv7的稻田杂草识别

为解决光线遮蔽、藻萍干扰以及稻叶尖形状相似等复杂环境导致稻田杂草识别效果不理想问题,该研究提出一种基于组合深度学习的杂草识别方法。引入MSRCP（Multi-Scale Retinex with Color Preservation）对图像进行增强,以提高图像亮度及对比度;加入ViT分类网络去除干扰背景,以提高模型在复杂环境下对小目标杂草的识别性能。在YOLOv7模型中主干特征提取网络替换为GhostNet网络,并引入CA注意力机制,以增强主干特征提取网络对杂草特征提取能力及简化模型参数计算量。消融试验表明：改进后的YOLOv7模型平均精度均值为88.2 %,较原YOLOv7模型提高了3.3个百分点,参数量减少10.43 M,计算量减少66.54×10⁹次/s,有效提高模型速度与精度。识别前先经过MSRCP图像增强后,改进YOLOv7模型的平均精度均值提高了2.6个百分点,模型对光线遮蔽、藻萍干扰以及稻叶尖形状相似的复杂环境下平均精度均值分别提高5.3、3.6、3.1个百分点;再加入ViT分类网络后,模型平均精度均值进一步提高,较原模型平均精度均值整体提升了4.4个百分点,在复杂环境下的平均精度均值较原模型整体提升了6.2、6.1、5.7个百分点。ViT-改进YOLOv7模型的平均精度均值为92.6 %,相比于YOLOv5s、YOLOXs、MobilenetV3-YOLOv7、YOLOv8和改进YOLOv7分别提高了11.6、10.1、5.0、4.2、4.4个百分点。研究结果可为稻田复杂环境的杂草精准识别提供支撑。