耦合全局与局部特征的苹果叶部病害识别模型

为充分利用苹果叶部病害图像类间差异小且类内差异大的特点,该研究基于全局与局部特征的交互式耦合对特征提取方法进行了优化,设计出一种苹果叶部病害识别模型。首先,在全局特征提取分支设计了一个注意力融合模块,以融合通道和空间上的信息而增强卷积提取到的特征图,并由增强后的特征图生成全局特征以及注意力激活图;然后,在局部特征提取分支,利用注意力激活图的引导,设计了一个裁剪模块对原图像进行裁剪,以得到可能包含病害信息的图像块且嵌入生成局部特征;最后,通过设计多头交叉注意力特征耦合模块,实现全局特征和局部特征的双向交叉耦合。基于苹果病害图像数据集的试验结果表明,将全局与局部特征进行交互耦合能有效提升模型对苹果叶部病害图像的特征提取能力,其识别准确率可达到98.23%,且较之单纯的局部或全局特征提取分支,准确率分别提高了3.39与4.61个百分点,所提模型可用于实现自然场景下的苹果叶部病害自动识别。     

基于MICS-CoTNet的黑木耳品质分类方法

针对传统黑木耳品质分类效率低,识别准确率不佳等问题,提出一种基于卷积神经网络和Transformer相结合的黑木耳图像品质分类方法。该研究以CoTNet模型为基础网络,设计了MICS-CoTNet黑木耳品质分类网络模型。首先,重新规划CoTNet模型主干特征提取模块的迭代次数,降低模型的计算冗余;其次,提出坐标归一化注意力机制以增强黑木耳图像局部关键特征权重,抑制主体特征干扰;最后,引入MobileNetV2模型中特征提取模块Inverted Block,并优化CoTNet模型核心模块CoT block,增强模型对黑木耳数据的特征提取能力。将MICS-CoTNet模型与EfficientNetV2、NfNet等12种模型进行对比,结果表明,综合模型准确性和轻量性等方面,MICS-CoTNet模型表现最佳。其中,MICS-CoTNet模型在干黑木耳数据中识别准确率可达98.45%,相较标准CoTNet提升5.22个百分点;在鲜黑木耳数据中识别准确率可达98.89%,相较标准CoTNet提升2.60个百分点。MICS-CoTNet模型占用内存为30.98M,相对于原CoTNet模型减少96...     

基于语义分割的非结构化田间道路场景识别

环境信息感知是智能农业装备系统自主导航作业的关键技术之一。农业田间道路复杂多变，快速准确地识别可通行区域，辨析障碍物类别，可为农业装备系统高效安全地进行路径规划和决策控制提供依据。该研究以非结构化农业田间道路场景为研究对象，根据环境对象动、静态属性进行类别划分，提出一种基于通道注意力结合多尺度特征融合的轻量化语义分割模型。首先采用Mobilenet V2轻量卷积神经网络提取图像特征，将混合扩张卷积融入特征提取网络最后2个阶段，在保证特征图分辨率的基础上增加感受野并保持信息的连续性与完整性；然后引入通道注意力模块对特征提取网络各阶段特征通道依据重要程度重新标定；最后通过空间金字塔池化模块将多尺度池化特征进行融合，获取更加有效的全局场景上下文信息，增强对复杂道路场景识别的准确性。语义分割试验表明，不同道路环境下本文模型可以对场景对象进行有效识别解析，像素准确率和平均像素准确率分别为94.85%、90.38%，具有准确率高、鲁棒性强的特点。基于相同测试集将本文模型与FCN-8S、SegNet、DeeplabV3+、BiseNet模型进行对比试验，本文模型的平均区域重合度为85.51%，检测速度达到8.19帧/s，参数数量为，相比于其他模型具有准确性高、推理速度快、参数量小等优点，能够较好地实现精度与速度的均衡。研究成果可为智能农业装备在非结构化道路环境下安全可靠运行提供技术参考。     

基于RAdam卷积神经网络的水稻生育期图像识别

为了解决现阶段水稻发育期信息的获取主要依靠人工观测的效率低、主观性强等问题,该研究提出一种基于Rectified Adam(RAdam)优化器的ResNet50卷积神经网络图像识别方法,开展水稻关键生育期的自动识别。连续2a对12块试验田的水稻物候特征进行持续自动拍摄,对采集的水稻图像进行预处理,得到水稻各发育期分类图像数据集;采用ExG因子和大津法(Otsu)算法相结合的方法对水稻图像分割,减小稻田背景干扰;对比分析了VGG16、VGG19、ResNet50和Inception v3四种模型下水稻生育期图像分级识别的性能,选取性能较优网络模型并进行了网络参数调优;对比试验了不同优化器下模型准确率和损失值的变化,选取了RAdam优化器。结果表明,采取基于RAdam优化器卷积神经网络构建的模型,在真实场景下分类识别准确率达到97.33%,网络稳定性高、收敛速度快,为水稻生育期自动化观测提供了有效方法。     

基于改进ShuffleNet V2的轻量化农作物害虫识别模型

及时准确地识别害虫是有效防治的重要前提。针对现有基于卷积神经网络的害虫识别模型实时性差、识别率低、结构复杂不易部署等问题,提出基于改进ShuffleNet V2的农作物害虫识别模型。首先,在ShuffleNet V2中引入多尺度特征融合模块LMFF（Lightweight Multi-scale Feature Fusion）,加强模型对不同尺度害虫的特征提取能力;其次,在ECA（Efficient Channel Attention）注意力机制中增加并行路径,并通过可学习参数自适应更新不同路径的权重,提出AECA（Adaptive and Efficient Channel Attention）注意力机制,将AECA注意力机制嵌入到ShuffleNet V2中,提高模型的跨通道交互能力;然后,使用SiLU（Sigmoid Weighted Liner Unit）替换ReLU激活函数,增强模型的泛化能力;最后,通过调整输出通道数和核心模块的堆叠次数重新设计ShuffleNet V2的整体架构,降低模型的计算量和参数量,从而提出轻量化的农作物害虫识别模型SNPF（ShuffleNet for Pest Field）。试验结果表明,SNPF模型在自建害虫数据集上的平均识别准确率和F1分数为79.49%和78.54%,较改进前分别提高了4.00个百分点和3.09个百分点,而参数量和浮点运算量为3.74 M和0.48 G,较改进前分别下降了30.60%和18.60%。SNPF模型对单张害虫图像的平均推理时间为11.9 ms,与ResNet 50、GoogLeNet、EfficientNet B1等模型相比,SNPF模型的识别精度更高,并且识别时间分别减少了57.04%、50.21%和40.50%。该研究提出的SNPF模型能够较好地识别农作物害虫、并且具有识别速度快和轻量化的特点,可以为农作物害虫的防治提供帮助。     

基于Transformer的强泛化苹果叶片病害识别模型

模型泛化能力是病害识别模型多场景应用的关键,该研究针对不同环境下的苹果叶片病害数据,提出一种可以提取多类型特征的强泛化苹果叶片病害识别模型CaTNet。该模型采用双分支结构,首先设计了一种卷积神经网络分支,负责提取苹果叶片图像的局部特征,其次构建了具有挤压和扩充功能的视觉Transformer分支,该分支能够提取苹果叶片图像的全局特征,最后将两种特征进行融合,使Transformer分支可以学习局部特征,使卷积神经网络分支学习全局特征。与多种卷积神经网络模型和Transformer模型相比,该模型具有更好的泛化能力,仅需学习实验室环境叶片数据,即可在自然环境数据下达到80%的识别精度,相较卷积神经网络EfficientNetV2提升7.21个百分点,相较Transformer网络PVT提升26.63个百分点,能够有效提升对不同环境数据的识别精度,解决了深度学习模型训练成本高,泛化能力弱的问题。     

基于轻量型卷积神经网络的马铃薯种薯芽眼检测算法

马铃薯种薯芽眼属于小目标物体,识别难度大、要求高。为了在试验台(芽眼识别装置)上快速、准确地完成识别任务,该研究提出一种基于轻量型卷积神经网络的芽眼检测模型。首先,为了降低模型的计算量和聚焦小目标物体,替换YOLOv4的主干网络CSPDarkNet-53为GhostNetV2轻量型特征提取网络;其次,在YOLOv4的颈部网络中,使用深度可分离卷积(depthwise separable convolution,DW)模块代替普通卷积块进一步降低模型计算量;最后,更改边界框损失函数为具有角度代价的边界框损失函数(SIoU),避免因预测框的位置不确定,而影响模型收敛速度和整体检测性能。结果表明,改进后芽眼检测模型参数量为12.04 M,使用笔记本电脑CPU检测单张图片的时间为0.148 s,从试验台收集的测试数据显示平均精度为89.13%。相对于其他主干特征提取网络CSPDarkNet-53、MobileNetV1、MobileNetV2、MobileNetV3、GhostNetV1,其检测精度分别高出1.85、0.75、2.67、4.17、1.89个百分点;与同类目标检测模型SSD、Fa...     

基于重参数化MobileNetV2的农作物叶片病害识别模型

针对基于卷积神经网络识别农作物叶片病害存在参数众多,计算量大且实时性差的问题,提出一种轻量级农作物叶片病害识别模型RLDNet(reparameterized leaf diseases identification network)。首先,基于MobileNetV2利用重参数化倒残差模块提升推理速度,并设计浅而窄的网络结构增强对浅层特征的提取,降低模型参数量。其次,使用轻量级ULSAM(ultra-lightweight subspace attention module)注意力机制,结合叶片病害特征,强化模型对病害区域的关注能力。最后,利用DepthShrinker剪枝方法对模型进行剪枝进一步减小空间占用。RLDNet在PlantVillage数据集上识别准确率达99.53%,参数量为0.65 M,对单张叶片病害图像的推理时间为2.51 ms。在自建叶片病害数据集上获得了98.49%识别准确率,比MobileNetV3、ShuffleNetV2等轻量级模型识别准确率更高,更为轻量。     

改进MobileViT网络识别轻量化田间杂草

为解决现有的田间杂草识别方法无法兼顾高准确率与实时性的问题,该研究提出了一种基于改进MobileViT网络的轻量化杂草识别方法。首先,该方法使用高效的MobileViT网络构建杂草特征提取网络,在保证特征提取能力的同时实现更少的模型参数量与计算量;其次,通过高效通道注意力机制加强下采样后特征图中的重要特征,进一步提升模型的特征提取能力;最后,特征提取网络中的MobileViT模块被用于同时学习局部语义信息和全局语义信息,仅通过少量模块的组合便能够准确地捕捉到不同类别杂草与作物间细微差异。为验证该方法的有效性,该研究以农田环境下采集的玉米幼苗及其4类伴生杂草图像为数据进行了模型训练,试验结果表明,该方法的识别准确率、精准度、召回率和F1分数分别为99.61%、99.60%、99.58%和99.59%,优于VGG-16、ResNet-50、DenseNet-161、MobileNetv2等常用卷积神经网络;同时,可视化结果表明该方法能够有效提取杂草图像中的关键特征,并抑制背景区域对识别结果的影响。该研究提出的方法能够精准、快速地区分出农田环境下形态相似的多种杂草与作物,可为智能除草设备中的杂草识别系统设计提供参考。     

基于改进YOLOv4模型的全景图像苹果识别

苹果果园由于密植栽培模式,果树之间相互遮挡,导致苹果果实识别效果差,并且普通的图像采集方式存在图像中果实重复采集的问题,使得果实计数不准确。针对此类问题,该研究采用全景拍摄的方式采集苹果果树图像,并提出了一种基于改进YOLOv4和基于阈值的边界框匹配合并算法的全景图像苹果识别方法。首先在YOLOv4主干特征提取网络的Resblock模块中加入scSE注意力机制,将PANet模块中的部分卷积替换为深度可分离卷积,且增加深度可分离卷积的输出通道数,以增强特征提取能力,降低模型参数量与计算量。将全景图像分割为子图像,采用改进的YOLOv4模型进行识别,通过对比Faster R-CNN、CenterNet、YOLOv4系列算法和YOLOv5系列算法等不同网络模型对全景图像的苹果识别效果,改进后的YOLOv4网络模型精确率达到96.19%,召回率达到了95.47%,平均精度AP值达到97.27%,比原YOLOv4模型分别提高了1.07、2.59、2.02个百分点。采用基于阈值的边界框匹配合并算法,将识别后子图像的边界框进行匹配与合并,实现全景图像的识别,合并后的结果其精确率达到96.17%,召回率达到95.63%,F1分数达到0.96,平均精度AP值达到95.06%,高于直接对全景图像苹果进行识别的各评价指标。该方法对自然条件下全景图像的苹果识别具有较好的识别效果。     

面向大规模多类别的病虫害识别模型

早期病虫害精准识别是预警和防控的关键,但是病虫害种类繁多数量巨大,外部形态存在类间相似度较高而类内差异性较大等性状特征,导致病虫害识别仍然是一项极具挑战的工作。为实现病虫害识别分类任务中差异化特征的提取和表示,该研究提出一种大规模多类别精细病虫害识别网络模型（a large-scale multi-category fine-grained pest and disease network,PD-Net）。首先通过在基准网络模型中引入卷积块注意力模型,通过混合跨特征通道域和特征空间域实现模型在通道和空间两个维度上对关键特征提取和表示,用以增强网络对差异化特征的提取和表示能力。其次引入跨层非局部模块,提升模型在多个特征提取层之间对于多尺度特征的融合。在61类病害数据集和102类虫害数据集上的试验结果表明,对比AlexNet、VGG16、GoogleNet、Inception-v3、DenseNet121和ResNet50模型,该研究提出的面向大规模多类别病虫害识别模型,Top1识别准确率在病害和虫害集上分别达到88.617%和74.668%,精确率分别达到了0.875和0.745,召回率分别达到0.874和0.738,F1值达到0.874和0.732,试验结果对比其他模型均有一定幅度的提升,验证了PD-Net模型在大规模多类别病虫害识别上的有效性。     

多特征融合的滚动轴承故障诊断

针对滚动轴承变工况条件下卷积神经网络在特征提取过程中无法充分提取全局特征信息的问题,该研究提出一种MSCNN-Swin滚动轴承故障诊断方法。首先,在数据处理模块中利用连续小波变换(continuous wavelet transform, CWT)将一维振动信号转化为二维时频图像,以保留原始信号的时频特性;然后,在局部感知模块中利用多尺度卷积神经网络(multiscale convolutional neural networks, MSCNN)对故障信息的局部特征进行提取,并使用卷积块注意模块(convolutional block attention module, CBAM)提取关键信息;进一步构建特征提取模块,引入残差连接提高前后特征信息的利用效率,通过SwinT网络(swin transformer)学习故障信息的全局特征;最后使用全局平均池化代替全连接层进行故障识别。使用美国凯斯西储大学轴承数据集与自制数据集进行试验验证,试验结果表明,本文方法在可视化试验中的故障识别准确率为99.67%,在变工况试验中的故障识别准确率为95.01%～99.66%,不同编码方式试验中的故障识别准确率为100%。在自制数据集中,故障诊断准确率达到99.18%。与CWT-LeNet5、CWT-VGG16、CWT-ResNet18和CWT-Swin相比,本文方法在变工况条件下的平均故障识别准确率分别提高8.79、8.64、3.49和3.18个百分点,在自制数据集中分别提高5.23、2.74、1.40和1.26个百分点。本文方法实现了变工况等复杂条件下滚动轴承不同故障状态的识别,能够充分提取轴承故障的全局特征信息,具有较高的故障诊断准确率和良好的泛化能力,可为变工况条件下的滚动轴承故障诊断提供参考。     

便携式柑橘虫害实时检测系统的研制与试验

为实现柑橘虫害的快速、准确识别,帮助果农及时掌握果园内虫害的危害程度和分布情况,该研究结合嵌入式图像处理技术设计了一套基于深度卷积神经网络的柑橘虫害实时检测系统。优选MoblieNet作为虫害图像特征提取网络,区域候选网络生成害虫的初步位置候选框,快速区域卷积神经网络(Faster Region Convolutional Neural Networks,Faster R-CNN)实现候选框的分类和定位。检测系统根据目标图像中虫害数量计算危害程度,按照正常、轻度、中度、重度4个等级判定柑橘虫害的严重程度,形成虫害识别与级别定量化测评软件。最后引入北斗模块获取采样点位置信息,进一步处理成可视化的虫害热力图。结果表明,该方法可实现对柑橘红蜘蛛和蚜虫的快速准确检测,识别准确率分别达到91.0%和89.0%,单帧图像平均处理速度低至286ms。该系统实现了柑橘虫害的精准识别与定位,可为农药喷洒作业提供精准信息服务。     

改进RetinaNet的水稻冠层害虫为害状自动检测模型

中国现行的水稻冠层害虫为害状田间调查方法需要测报人员下田目测为害状发生情况,此种人工调查方法存在客观性差、效率低与劳动强度大等问题。近几年,诸多学者开始利用深度学习方法来识别植物病虫为害状,但大多针对单株或单个叶片上病虫害种类进行识别研究。该研究采集了水稻冠层多丛植株上稻纵卷叶螟和二化螟为害状图像,提出一种改进RetinaNet的水稻冠层害虫为害状自动检测模型。模型中采用ResNeXt101作为特征提取网络,组归一化(Group Normalization,GN)作为归一化方法,改进了特征金字塔网络(Feature Pyramid Network,FPN)结构。改进后的RetinaNet模型对2种害虫为害状区域检测的平均精度均值达到93.76%,为实现水稻害虫为害状智能监测提供了理论依据和技术支持。     

基于可形变VGG-16模型的田间作物害虫检测方法

由于田间害虫种类多,大小、形态、姿态、颜色和位置变化多样,且田间害虫的周围环境比较复杂,使传统田间害虫检测方法的性能不高,而现有基于卷积神经网络的作物害虫检测方法采用固定的几何结构模块,不能有效应用于田间多变的害虫检测。该研究在VGG-16模型的基础上构建了一种可形变VGG-16模型（Deformable VGG-16,DVGG-16）,并应用于田间作物害虫检测。在DVGG-16模型中,引入可形变卷积后能够适应不同形状、状态和尺寸等几何形变的害虫图像,提高了对形变图像的特征表达能力,然后利用1个全局平均池化层替代VGG-16模型中的3个全连接层,以加快模型的训练。通过DVGG-16模型与VGG-16模型对比试验发现,DVGG-16模型提升了对田间害虫图像的形状、大小等几何形变的适应能力,在不改变图像空间分辨率的情况下,实现了对不规则田间害虫图像的特征提取,在实际田间害虫图像数据库上的检测准确率为91.14%。试验结果表明,DVGG-16模型提升了VGG-16模型对害虫多样性图像的特征表达能力,具有一定的图像形变适应能力,能够较准确地检测到田间形状变化多样的害虫,可为田间复杂环境下作物害虫检测系统提供技术支持。     

基于属性特征知识图谱的细粒度葡萄园害虫识别

针对葡萄园害虫识别过程中害虫种类繁多、形态属性复杂、实体间深层次关联关系差等因素导致的识别准确率不够高的问题,该研究提出一种基于属性特征知识图谱的细粒度葡萄害虫识别模型。该模型以视觉编码器作为提取图像高层表征的骨干网络,并结合知识图谱具有在描述害虫实体属性特征和害虫实体间关联方面的优势,将知识图谱所提供的细粒度属性特征和害虫实体关联特征信息用于葡萄园害虫分类研究。该方法在2个数据集上进行了测试：一是GP21数据集,该数据集由公开大规模害虫数据集IP102中21类葡萄园相关害虫类别图像构成;二是GP8数据集,该数据集包含从农业生产基地实地采集并手工标注的8种葡萄园害虫。试验结果表明,该文所提模型性能明显优于普遍通用预训练网络模型,分类准确率在GP21数据集和GP8数据集上分别达到了91.21%和95.03%,相比于仅使用视觉编码器分别增加1.64和1.17个百分点。这证明属性特征知识图谱的引入能够辅助视觉编码器捕获细粒度更高的葡萄园害虫特征信息,有效解决了葡萄园害虫识别中的精度不够高的问题。     

利用显著图构建注意力深度网络检测诱虫板蔬菜害虫

为提高诱虫板图像蔬菜害虫检测精度,针对背景区域容易导致误检的问题基于显著图分析技术构建了一种注意力深度网络害虫智能视觉检测方法。首先通过显著图筛选出粗候选区域;然后在粗候选区域内用全卷积神经网络精选出细候选区域;接着用神经网络分类器识别细候选区域害虫种类,得到含有冗余的若干检测框;最后用改进的非极大值抑制消除冗余检测框,实现诱虫板图像中目标害虫的检测。针对小菜蛾和瓜实蝇展开试验,获得86.4%的平均精度均值和0.111只的平均绝对计数误差均值,所提方法平均精度均值比Faster R-CNN和YOLOv4分别高2.74和1.56个百分点,平均绝对计数误差均值比Faster R-CNN和YOLOv4分别低0.006和0.003只;同时,消融试验中移除显著图注意力模块后平均精度均值下降了4个百分点、平均绝对计数误差均值增加了0.207只。试验结果表明,所提方法有效提高了诱虫板图像蔬菜害虫检测精度,其中,引入显著图注意力模块对提升检测精度有重要作用。