面向语义挖掘的蔬菜病害知识视频场景检测

以蔬菜病害知识视频为对象,研究了视频镜头分割、标注方法和聚类模型,构建了面向语义挖掘的语义场景检测模型。基于多模态融合的视频分割技术建立了蔬菜视频镜头库;结合蔬菜知识中文词典,基于多模态融合的视频内容识别方法对蔬菜视频镜头库进行文本标注;对识别结果进行基于知网的语义相似度度量,构建了蔬菜病害知识视频语义场景模型,通过度量相邻镜头的相似度对语义上相近的镜头进行再聚类,使聚类后的视频场景更适合基于内容的视频检索。实验结果表明,该方法检测蔬菜视频语义场景的查准率达到96.9%。     

基于深度学习与复合字典的马铃薯病害识别方法

为解决自然环境下小样本病害叶片识别率低、鲁棒性不强的问题,以马铃薯病害叶片为研究对象,提出一种基于深度卷积神经网络与复合特征字典结合的病害叶片识别方法。首先,利用迁移学习技术对Faster R-CNN模型进行训练,检测出病害叶片的斑块区域;然后,采用高密度采样方法对整个斑块区域提取颜色特征和SIFT特征,建立颜色特征和SIFT特征词汇表,再由K-均值聚类算法对两类表观特征词汇表进行聚类,构造出复合特征字典;最后,将病害区域提取的特征在复合特征字典中映射后获得特征直方图,利用支持向量机训练出病害的识别模型。试验结果表明,复合特征字典中视觉单词数为50时,病害识别的鲁棒性和实时性最佳,平均识别准确率为90.83%,单帧图像耗时1.68 s;在颜色特征和SIFT特征组合下,本文方法在自然光照条件下对病害的平均识别准确率最高,达到84.16%;在相同数据集下,与传统词袋法相比,本文方法的平均识别准确率提高了25.45个百分点。     

交互式双分支特征融合的草莓病害程度快速诊断方法

针对现有草莓病害程度诊断方法存在识别精度低、参数量大、推理时间长等问题，提出了一种基于交互式双分支特征融合的草莓病害程度快速诊断方法。该方法首先以短程密集连接模块为基础，构建一种轻量化的交互式双分支特征融合网络(Interactive bilateral feature fusion network, IBFFNet),用于提取图像的语义特征和细节特征。然后，通过注意力简化的金字塔池化模块获取上下文分支中的多尺度语义特征，利用边缘增强模块丰富空间分支中的边缘细节特征。最后，融合多尺度语义特征和空间细节特征，实现病斑和叶片区域的精确分割。在草莓叶部病害程度数据集上的实验结果显示，IBFFNet2＿Seg的平均交并比达到77.8%,在单张NVIDIA GTX1050显卡上处理速度可达40.6 f/s,满足实际应用中对算法实时性和分割精度的要求。此外，在测试集上IBFFNet2＿Seg预测病害程度与真实程度的决定系数R²为0.98,说明该模型可以准确预测草莓病害严重程度。本研究可为草莓病害精准防治提供可靠的技术支撑。     

基于卷积神经网络马铃薯叶片病害识别和病斑检测*

针对自然环境下马铃薯叶片病害识别率低和晚疫病斑定位难的问题,基于大田环境中采集的马铃薯叶片图像,首先对马铃薯叶片病害进行识别,对比AlexNet、VGG16、InceptionV3、ResNet50、MobileNet五种神经网络模型,结果表明InceptionV3模型的识别效果准确率最高,可达98.00%。其次对马铃薯叶片的晚疫病斑进行检测,提出一种改进型的CenterNet-SPP模型,该模型通过特征提取网络获取对象的中心点,再通过中心点回归获得中心点偏移量、目标大小等图像信息,训练后的模型在验证集下的mAP可达90.03%,以F₁为评价值分析对比其它目标检测模型,CenterNet-SPP模型的效果最好,准确率为94.93%,召回率为90.34%,F₁值为92.58%,平均检测一张图像耗时0.10 s。为自然环境下马铃薯叶片病害识别和检测提供较为全面的深度学习算法和模型研究基础。     

基于改进轻量级卷积神经网络MobileNetV3的番茄叶片病害识别

番茄病害的及时检测可有效提升番茄的质量和产量.为实现番茄病害的实时无损伤检测,本研究提出了一种基于改进MobileNetV3的番茄叶片病害分类识别方法.首先选择轻量级卷积神经网络Mobile?NetV3,在Image Net数据集上进行预训练,将预训练得到的共享参数迁移到对番茄叶片病害识别的模型上并做微调处理.采用相同...     

基于迁移学习与卷积神经网络的玉米植株病害识别

大数据背景下产生了海量图像数据,传统的图像识别方法识别玉米植株病害准确率较低,已远远不能满足需求。卷积神经网络作为深度学习中的常用算法被广泛用于处理机器视觉问题,能自动识别和提取图像特征。因此,本研究提出一种基于数据增强与迁移学习相结合的卷积神经网络识别玉米植株病害模型。该算法首先通过数据增强方法增加数据,以提高模型的泛化性和准确率;再构建基于迁移学习的卷积神经网络模型,引入该模型的训练方式,提取病害图片特征,加速卷积神经网络的训练过程,降低网络的过拟合程度;最后将该模型运用到从农田采集的玉米病害图片,进行玉米病害的精确识别。识别试验结果表明：使用数据增强与迁移学习的卷积神经网络优化算法对玉米主要病害（玉米大斑病、小斑病、灰斑病、黑穗病及瘤黑粉病）的平均识别准确度达96.6%,和单一的卷积神经网络相比,精度提高了25.6%,处理每张图片时间为0.28s,比传统神经网络缩短了将近10倍。本算法的精确度和训练速度上比传统卷积神经网络有明显提高,为玉米等农作物植株病害的识别提供了新方法。     

马铃薯叶片早疫病的高光谱识别研究

为实现马铃薯叶片早疫病的快速识别,达到尽早防治的目的,利用高光谱成像系统连续4天采集375~1018nm波段内的健康和染病马铃薯叶片的高光谱数据信息,并用ENVI软件提取感兴趣区域的光谱反射率平均值。分别建立基于全光谱(full spectrum,FS)、连续投影算法(SPA)和载荷系数法(x-LW)提取的特征波长的BP网络和LS-SVM识别模型,其中FS-BP、SPA-BP、x-LW-BP模型中预测集识别率分别为100%、100%、98.33%,LS-SVM模型的预测集识别率均为100%;SPA和x-LW提取的特征波长个数均仅占全波长的1.47%,大大简化了模型,提高了运算速率。实验表明:应用高光谱成像技术可以快速、准确地识别出马铃薯叶片早疫病,且SPA和x-LW可以作为特征波长提取的有效方法,为田间马铃薯早疫病的在线实时检测仪器的开发提供理论依据。     

基于多视图特征融合的植物病害识别算法

近年来,基于传统机器学习和深度学习的叶片病害识别算法取得显著进展。然而现有病害识别模型大多采用单一类型特征,即对叶片病害图像提取颜色纹理等传统特征或采用深度学习自动学习特征。一方面采用深度学习自动学习特征需要大量样本,计算开销较大;另一方面传统特征往往应用于小规模病害数据集。因此提出基于多视图特征融合的病害识别算法,首先提取病害叶片图像的Gist特征以及基于深度学习预训练模型VGG16的深度特征,通过深度典型相关分析(DCCA)发掘传统特征与深度特征的相关性,获得更加鲁棒的特征子空间,从而提高识别效果。在Plant Village上的试验结果表明,采用DCCA融合传统特征和深度特征的识别方法比单类型特征识别法的识别精度要高,其平均识别精度可达88.45%。     

数据集对基于深度学习的作物病害识别有效性影响

基于深度学习的作物病害自动识别已成为农业信息化领域新的研究热点,为探究数据集的大小和质量对基于深度学习的作物病害识别有效性的影响,研究不同数据集训练得到的模型识别效果并进行了分析。以338张玉米病害数据集为例,对其进行数据增强、移除背景和细分割划分等处理,设计5个AlexNet框架的CNN网络模型并利用不同类型的数据集进行测试,使用十倍交叉法验证识别结果。试验结果表明:使用不同数量和等级的数据训练后的模型识别准确率分别为56.80%、78.30%、80.50%、89.30%和81.00%。在获得每个网络的最终精度后,挑选出识别错误的图像进行分析,结合前人的研究结果,得出影响深度神经网络用于作物病害识别有效性的9个主要因素。数据集对基于深度学习的作物病害识别有效性的影响因素主要分为带注释的数据集大小、叶片症状代表性、协变量转移、图像背景情况、图像数据获取过程、症状分割、特征多变性、并发性病害以及症状的相似性等这9类,该试验能够为深度学习技术田间病害识别的实际应用中提供依据和指导。     

基于MobileNetV3Small-ECA的水稻病害轻量级识别研究

为实现水稻病害的轻量化识别与检测,使用ECA注意力机制改进MobileNetV3Small模型,并使用共享参数迁移学习对水稻病害进行智能化轻量级识别和检测。在PlantVillage数据集上进行预训练,将预训练得到的共享参数迁移到对水稻病害识别模型上微调优化。在开源水稻病害数据集上进行试验测试,试验结果表明,在非迁移学习下,识别准确率达到97.47%,在迁移学习下识别准确率达到99.92%,同时参数量减少26.69%。其次,通过Grad-CAM进行可视化,本文方法与其他注意力机制CBAM和SENET相比,ECA模块生成的结果与图像中病斑的位置和颜色更加一致,表明网络可以更好地聚焦水稻病害的特征,并且通过可视化和各水稻病害分析了误分类原因。本文方法实现了水稻病害识别模型的轻量化,使其能够在移动设备等资源受限的场景中部署,达到快速、高效、便携的目的。同时开发了基于Android的水稻病害识别系统,方便于在边缘端进行水稻病害识别分析。     

基于深度残差网络的番茄叶片病害识别方法

传统深度学习模型在用于蔬菜病害图像识别时,存在由于网络梯度退化导致的识别性能下降问题。为此,本文研究了一种基于深度残差网络模型的番茄叶片病害识别方法。该方法首先利用贝叶斯优化算法自主学习网络中难以确定的超参数,降低了深度学习网络的训练难度。在此基础上,通过在传统深度神经网络中添加残差单元,解决了由于梯度爆炸/消失造成的过深层次病害识别网络模型性能下降的问题,能够实现番茄叶片图像的高维特征提取,根据该特征可进行有效病害鉴定。试验结果表明,本研究中基于超参数自学习构建的深度残差网络模型在番茄病害公开数据集上取得了良好的识别性能,对白粉病、早疫病、晚疫病和叶霉病等4种番茄叶片常见病害的识别准确率达到95%以上。本研究可为快速准确识别番茄叶片病害提供参考。     

基于改进SOLO v2的番茄叶部病害检测方法

为实现对多种番茄叶部病害的精确检测,提出了一种基于改进SOLO v2的番茄叶部病害实例分割方法。该方法以SOLO v2模型为主体框架,将ResNet-101作为骨干网络融合特征金字塔网络（Feature pyramid networks,FPN）,引入可变形卷积对卷积结构进行优化,并将损失因子δ融入掩膜损失函数中,在语义分支与掩膜分支上对实例进行检测与分割。通过对模型的改进,实现了对形状复杂多变的番茄叶片的精确检测与分割,并提升了模型的泛化能力与鲁棒性。基于Plant Village数据集的试验结果表明,ResNet-101比ResNet-50在SOLO v2上的性能表现更好。在相同骨干网络下,SOLO v2模型的单幅图像处理时间比Mask R-CNN减少了72.0%,平均精度均值（Mean average precision,mAP）提升了3.2个百分点,改进后的模型在训练过程中收敛效果有所提升,受叶片形状多变的影响较小,最终的平均精度均值达到了42.3%,单幅图像处理时间仅需0.083s,在提升检测精度的同时保证了运行的实时性。该研究较好地解决了番茄病叶识别与分割难的问题,为农业自动化生产中番茄疾病情况与症状分析提供了参考。     

基于选择性注意力神经网络的木薯叶病害检测算法

为了实现在复杂非结构环境下对木薯叶4种主要病害的高精度检测,提出一种基于选择性注意力机制的木薯叶病害神经网络检测改进算法MAISNet (Multiattention IBN Squareplus neural network)。以V2-ResNet-101为基础网络,先使用多重注意力算法优化加权系数,调整特征通道的语义表达,在特征图中初步构建显著性特征;然后在残差单元之后采用实例批归一化方法来抑制特征表达中的协变量偏移,在特征图中构建出显著性语义特征,实现高质量语义特征表达;最后在残差分支中采用Squareplus激活函数替代ReLU激活函数,保持语义特征在负数域的数值分布,减少特征拟合过程中的截断误差。对比试验结果显示,经过上述改进后构建出的MAISNet-101神经网络,对4种常见木薯叶病害检测的平均准确率达到95.39%,明显优于目前主流算法EfficientNet-B5和RepVGG-B3g4等。网络提取特征的可视化分析结果表明,高质量木薯叶病害显著性语义特征,是提高木薯叶病害检测准确率的关键。所提出的MAISNet神经网络模型可以完成实际场景下木薯叶病害高精度检测。     

基于迁移学习的苹果树叶片病虫害识别方法研究*

为实现苹果树叶片病虫害快速且准确地识别与分类,研究基于迁移学习的多种神经网络模型,对比不同模型在苹果树叶片病虫害识别上的准确度。构建VGG16,ResNet50,Inception V3三种神经网络模型,利用从PlantVillage上获取的4种不同的苹果树叶片图片,分别为苹果黑星病叶片,苹果黑腐病叶片,苹果锈病叶片以及健康苹果叶片。按照8∶1∶1的比例将图片分为训练集,测试集和验证集对模型进行训练。在相同的试验条件下对比分析VGG16,ResNet50和Inception V3的试验结果。三种模型在使用迁移学习技术的情况下对苹果树叶片病虫害识别准确率分别达到97.67%,95.34%和100%。与不使用迁移学习的模型相比,使用迁移学习能够明显提升模型的收敛速度以及准确率,为常见的苹果树病虫害识别提供了新的方法。     

基于改进YOLOv5s和多模态图像的树上毛桃检测

毛桃等果实的准确检测是实现机械化、智能化农艺管理的必要前提。然而,由于光照不均和严重遮挡,在果园中实现毛桃,尤其是套袋毛桃的检测一直面临着挑战。本研究基于改进YOLOv5s和多模态视觉数据提出了面向机械化采摘的毛桃多分类准确检测。具体地,构建了一个多类标签的裸桃和套袋毛桃的RGB-D数据集,包括4127组由消费级RGB-D相机获取的像素对齐的彩色、深度和红外图像。随后,通过引入方向感知和位置敏感的注意力机制,提出了改进的轻量级YOLOv5s（小深度）模型,该模型可以沿一个空间方向捕捉长距离依赖,并沿另一个空间方向保留准确的位置信息,提高毛桃检测精度。同时,通过将卷积操作分解为深度方向的卷积与宽度、高度方向的卷积,使用深度可分离卷积在保持模型检测准确性的同时减少模型的计算量、训练和推理时间。实验结果表明,使用多模态视觉数据的改进YOLOv5s模型在复杂光照和严重遮挡环境下,对裸桃和套袋毛桃的平均精度（Mean Average Precision,mAP）分别为98.6%和88.9%,比仅使用RGB图像提高了5.3%和16.5%,比YOLOv5s提高了2.8%和6.2%。在套袋毛桃检测方面,改进YOLOv5s的mAP比YOLOX-Nano、PP-YOLO-Tiny和EfficientDet-D0分别提升了16.3%、8.1%和4.5%。此外,多模态图像、改进YOLOv5s对提升自然果园中的裸桃和套袋毛桃的准确检测均有贡献,所提出的改进YOLOv5s模型在检测公开数据集中的富士苹果和猕猴桃时,也获得了优于传统方法的结果,验证了所提出的模型具有良好的泛化能力。最后,在主流移动式硬件平台上,改进后的YOLOv5s模型使用五通道多模态图像时检测速度可达每秒19幅,能够实现毛桃的实时检测。上述结果证明了改进的YOLOv5s网络和含多类标签的多模态视觉数据在实现果实自动采摘系统视觉智能方面的应用潜力。     

基于图像自动标注与改进YOLO v5的番茄病害识别系统

针对作物病害识别系统功能单一，缺乏系统升级机制，人工升级系统成本较大的问题，以番茄病害为例，提出了基于OpenCV的番茄叶片图像自动标注算法和改进YOLO v5的番茄病害识别模型；结合数据集自动划分、模型自动训练与评估、手机APP自动创建与更新理念，设计了一种可以自动升级的番茄病害识别系统；引入专家审查校正机制，提高了系统识别结果的可靠性。实验结果表明，该系统实现了对番茄的健康叶片与9类病害叶片进行识别，可以在实际应用中通过手机APP识别番茄病害的同时自动扩充番茄病害图像数据集，并根据数据扩充量自动启动系统的升级优化流程，由此不断提升该系统的番茄病害识别性能。该系统为番茄生产提供了一个便捷、可靠的番茄病害识别工具。     

基于核相互子空间法的番茄叶部病害快速识别模型

近年来，基于叶片图像的番茄病害识别研究受到广泛关注。本研究利用番茄叶部病害图像中病斑的颜色和纹理的差异，通过提取番茄病害叶片图像的颜色矩（CM）、颜色聚合向量（CCV）和方向梯度直方图（HOG）等颜色纹理特征，引入核相互子空间法（KMSM），建立了番茄叶部病害快速识别模型（CCHKMSM）。该模型首先通过高斯核函数，将从不同类别叶部病害图像数据中抽取的颜色及纹理特征映射到高维空间；然后对映射的高维空间进行主成分分析，建立非线性病害特征空间；最后基于非线性特征空间最小正则角对病害进行识别。本研究分别以公共农业病虫害数据集PlantVillage中的9种番茄病害类和1类健康番茄叶片图像，以及实际场景下采集的3种叶部病虫害图像数据集开展算法验证试验。基于PlantVillage的试验结果表明，当每类样本集数量为350张时，本研究所提出的CCHKMSM模型识别率达到100%，模型训练时间为0.1540 s，平均识别时间为0.013 s；同时，在样本数量150张到1000张的测试区间内，模型平均识别率为99.14%。该识别率高于其他典型的机器学习模型，与基于深度学习的识别方法相当。基于实际复杂场景下采集病害图像集的实验中，通过对原始图像切割分块后，对各病害的平均识别率为96.21%。试验结果表明，本研究提出的CCHKMSM模型识别准确率高且计算量小，其训练时间和测试时间都远低于深度学习等方法。该方法对系统要求低，具有在手持设备、边缘计算终端等低配置感知系统中的应用潜力。     

基于CDSSM的作物病害处方推荐方法

作物病害诊断积累了大量电子处方数据,对电子处方数据二次利用,实现作物病害处方智能推荐是植保领域重要的研究内容。对此,本文构建基于CDSSM的作物病害处方推荐模型,实现多种类作物病害的诊断和处方推荐。基于病害标准知识库对作物病害处方数据进行筛选,并进行数据扩充,同时结合领域知识构建标准处方库;构建基于CDSSM的作物处方推荐模型,根据文本特征生成语义向量,计算语义向量的余弦距离,结合标准处方库完成融合地区、时间、作物种类、生长期等多个因素的处方精准推荐。从病害诊断、处方推荐、针对番茄病害处方推荐和不同输入对处方推荐的影响4方面展开结果分析,并与基于DSSM、DSSM-LSTM、Cosine、Jaccard、BM25的模型结果进行对比分析;结合实际应用需求设计并构建面向移动终端的作物病害处方推荐应用“处方宝”。结果表明,基于CDSSM的作物病害处方推荐模型病害诊断正确率为71%,处方推荐准确率为82%,优于其他5种作物病害处方推荐模型;针对番茄病害处方推荐准确率更高。本文构建的基于CDSSM的作物处方推荐模型可以满足实际应用需求,还能够进行病害种类的扩充,可以作为作物病害处方推荐的高效辅助...     

基于卷积神经网络的番茄主要病害识别方法研究

传统的番茄叶片病害识别周期长、准确率较低,依赖于人工设计特征。基于此,课题组现提出一种基于深度残差网络的番茄叶片病害识别网络,该网络基于ResNet101网络,将Plant Village数据集在ResNet101网络中训练好的参数进行迁移以完成构建,通过观察精准率、召回率和混淆矩阵等模型的评价标准可以看出,课题组提出的网络相对于参照模型,在番茄叶片病害识别方面综合平均识别率更高、收敛速度更快,具有更好的鲁棒性和泛化能力。研究结果表明,该网络能更好地平衡识别准确率和网络轻量高效的需求,模型的平均识别准确率高达99.89%,具有良好的应用前景,初步满足了番茄病害识别的生产要求。     

基于X-ray和RGB图像融合的实蝇侵染柑橘无损检测

实蝇侵染柑橘流入市场会造成巨大的经济损失,因此需要在商品化处理阶段对其全面筛除。针对柑橘在实蝇侵染早期没有明显外部特征,人工抽样检测效率低、筛除难的问题,探索了在生产线上同时搭载农业X光机与RGB相机进行无损检测的可行性,提出了基于X-ray(X光)和RGB图像的多模态数据融合方法,建立了CNN-LSTM检测模型,实现了实蝇侵染柑橘高精度无损检测。模拟了柑橘在生产线上滚动并被拍摄6幅X-ray和RGB序列图像的过程,构建了实蝇侵染柑橘的多源数据集,融合了不同模态的实蝇侵染特征信息,提升了实蝇侵染柑橘检测模型的检测能力,并对比了ResNet18-LSTM、GoogleNet-LSTM、SqueezeNet-LSTM、MobileNetV2-LSTM轻量化检测模型,验证了多模态数据融合方法的有效性。研究结果表明,提出的多模态数据融合实蝇侵染柑橘方法比单模态检测方法检测性能更加优异,其中ResNet18-LSTM检测准确率最高,多模态的图像融合和特征融合方法检测准确率分别达到97.3%和95.7%,单模态X-ray和RGB检测方法准确率分别为93.2%和89.3%。本研究可为实蝇侵染柑橘在线...