基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于计算机视觉的土壤镉胁迫生菜叶片污染响应分析

为了实现无损检测生菜叶片中重金属镉的污染程度,以计算机视觉技术为研究手段,结合图像处理方法和特征选择方法,对4个梯度重金属镉胁迫的生菜叶片进行识别。首先利用数码相机获取生菜叶片图像,然后使用K-means聚类算法分割图像,对分割出的目标图像提取图像颜色、形状和纹理特征,共获取46个图像特征。为了使模型更简便和减少数据量,利用基于变量组合的变量重要性分析(VIAVC)和竞争性自适应重加权算法(CARS)对图像特征进行降维。采用偏最小二乘法判别分析(PLS-DA)和随机森林(RF)构建模型,用于生菜镉胁迫程度的识别。结果表明,在7个组合特征模型中,颜色形状纹理融合特征所建立的模型给出了最优结果,测试集分类正确率为92%。用VIAVC和CARS对颜色形状纹理融合特征进行特征选择,发现VIAVC的降维效果优于CARS。使用特征选择的变量建立模型,RF模型的训练集分类正确率和预测集分类正确率均高于PLS-DA,其中,基于VIAVC的RF模型的训练集和预测集分类正确率分别为98.0%和96.0%。可见,基于VIAVC的RF模型在大大降低了特征维数的前提下,能够较好地对不同镉胁迫程度的生菜叶片进行识别。     

农业图像云平台中参数化图像处理系统设计方法

针对现有图像处理系统无法对不同种类的物品进行处理识别这一问题,提出农业图像云平台中的参数化图像处理系统设计方法,根据物品的不同特征,设置不同的参数,即可选择不同的算法对物品处理识别。给出了图像处理系统顶层控制模块的设计和仿真结果,并以几种图像为例,说明了图像处理系统中各个参数的设置。系统具有较强的灵活性和鲁棒性。     

基于深度学习与多尺度特征融合的烤烟烟叶分级方法

为实现烤烟等级的快速准确识别,降低人工分级中主观因素对分级结果的影响,提高烟叶分级的准确性和一致性,提出一种基于烤烟RGB图像和深度学习的多尺度特征融合的烟叶图像等级分类方法,采用ResNet50提取烟叶图像特征,并引入基于注意力机制的SE模块(压缩激发模块),增强不同通道特征的重要程度;同时,采用FPN(特征金字塔网络)对提取的由浅及深不同层级的烟叶特征进行融合,以实现烟叶多尺度特征的表达。采集皖南地区6068个烤烟的正面和背面图像用于建模和分析。结果表明,提出的烟叶分级方法的分级正确率比经典CNN(卷积神经网络)高出5.21%,分级模型在新批次7个等级烟叶上的分级正确率为80.14%,相邻等级的分级正确率为91.50%。因此,采用RGB图像结合深度学习技术可实现烤烟烟叶等级的良好识别,可为烤烟烟叶收购等级评价提供一种新方法。     

作物行识别算法的虚拟试验方法

针对作物行识别算法的传统开发过程对田间作物生长周期依赖性较强,错过适当的田间图像采集时期将直接导致算法开发周期延长等问题,提出一种基于虚拟场景的作物行识别算法测试方法,即在虚拟环境下模拟农田作物行场景和图像采集系统,运用虚拟作物行图像测试作物行的识别算法。该方法在虚拟现实环境下建立作物行场景模型;提出一种融合建模法,根据作物和杂草的几何特征建立对应的三维几何模型;根据实际田间作物的空间分布特征,建立株距、行距可调的田间作物行模型;以Vega Prime为视景仿真工具,通过配置投影模式、渲染模式、视点位姿和图像采集规格,构建图像采集系统,输出作物行场景图像。以苗期棉花作物行为建模对象,对一种经过田间试验验证的双目视觉作物行识别算法进行测试试验。对比实际棉田图像对应的试验结果,同一作物行识别算法的识别正确率、偏差角和图像处理时间均相近。结果表明,本文建立的虚拟棉田作物行与实际棉田作物行场景相近,能够用于作物行识别算法的测试。     

冷冻食品切割机安全防护系统识别技术

为降低冷冻食品加工中工人操作时手部被割伤的风险,提出基于机器视觉的切割机安全防护系统识别技术,系统利用彩色相机对切割机工作区域进行实时监控,以锯条位置为参考点设置不同的危险区域,对采集的图像进行分析处理,针对工人操作时的手套颜色受照明影响大,提出拮抗色感知颜色特征提取与高斯混合模型分类相结合的目标颜色识别方法,对手套的颜色特征进行分类检测,通过形态学处理与特征量统计判定最终结果,判别工人手部所处的危险等级。实现了整个切割机的安全防护系统设计,其实验测试结果表明,系统能够准确识别不同照明条件下的手套颜色特征,相比HSV和CIE Lab颜色空间,降低了图像处理时间,单幅图像处理时间为39.18 ms,具有较好的鲁棒性,满足了安全防护系统实时性和可靠性的要求。     

基于注意力机制和特征融合的葡萄病害识别模型

植物病害是造成农作物减产的主要原因之一。针对传统的人工诊断方法存在成本高、效率低等问题，构建了一个自然复杂环境下的葡萄病害数据集，该数据集中的图像由农民在实际农业生产中拍摄，同时提出了一个新的网络模型MANet,该模型可以准确地识别复杂环境下的葡萄病害。在MANet中嵌入倒残差模块来构建网络，这极大降低了模型参数量和计算成本。同时，将注意力机制SENet模块添加到MANet中，提高了模型对病害特征的表示能力，使模型更加注意关键特征，抑制不必要的特征，从而减少图像中复杂背景的影响。此外，设计了一个多尺度特征融合模块(Multi-scale convolution)用来提取和融合病害图像的多尺度特征，这进一步提高了模型对不同病害的识别精度。实验结果表明，与其他先进模型相比，本文模型表现出了优越的性能，该模型在自建复杂背景病害数据集上的平均识别准确率为87.93%,优于其他模型，模型参数量为2.20×10⁶。同时，为了进一步验证该模型的鲁棒性，还在公开农作物病害数据集上进行了测试，该模型依然表现出较好的识别效果，平均识别准确率为99.65%,高于其他模型。因此，本文模型...     

自然环境下树上绿色芒果的无人机视觉检测技术

为了快速检测芒果树上的芒果,本文提出了一种基于无人机的树上绿色芒果视觉检测方法。本文采用深度学习技术,利用YOLOv2模型对无人机采集的芒果图像进行检测,首先通过无人机采集树上芒果图像,对芒果图像进行人工标记,建立芒果图像的训练集和测试集,通过试验确定训练模型的批处理量和初始学习率,并在训练模型时根据训练次数逐渐降低学习率,最终训练出来的模型在训练集上的平均精度(Mean average precision,MAP)为86.43%。通过试验,分析了包含不同果实数和不同光照条件下芒果图像的识别准确率,并设计了芒果树产量估计试验,试验结果表明:本文算法检测一幅图像的平均运行时间为0.08s,对测试集的识别准确率为90.64%,错误识别率为9.36%;对含不同果实数的图像识别准确率最高为94.55%,最低为88.05%;顺光条件下识别准确率为93.42%,逆光条件下识别准确率为87.18%;对芒果树产量估计的平均误差为12.79%。表明本文算法对自然环境下树上芒果有较好的检测效果,为农业智能化生产中果蔬产量的估计提供了视觉技术支持。     

基于多视图特征融合的植物病害识别算法

近年来,基于传统机器学习和深度学习的叶片病害识别算法取得显著进展。然而现有病害识别模型大多采用单一类型特征,即对叶片病害图像提取颜色纹理等传统特征或采用深度学习自动学习特征。一方面采用深度学习自动学习特征需要大量样本,计算开销较大;另一方面传统特征往往应用于小规模病害数据集。因此提出基于多视图特征融合的病害识别算法,首先提取病害叶片图像的Gist特征以及基于深度学习预训练模型VGG16的深度特征,通过深度典型相关分析(DCCA)发掘传统特征与深度特征的相关性,获得更加鲁棒的特征子空间,从而提高识别效果。在Plant Village上的试验结果表明,采用DCCA融合传统特征和深度特征的识别方法比单类型特征识别法的识别精度要高,其平均识别精度可达88.45%。     

基于小波变换与卷积神经网络的羊脸识别模型

为解决养殖场条件下羊只的个体识别问题,本文基于小波变换与卷积神经网络,提出一种融合频域特征与空间域特征的羊脸识别模型DWT-GoatNet。首先采集总计30只高相似度西农萨能奶山羊日间、夜间两种不同光照环境下的面部图像,基于SSIM指标剔除其中相似度过高的样本,接着进行图像裁剪,并通过模糊、调整亮度、平移、旋转、加入噪声、缩放等方法完成数据增强;然后,设计基于二维离散小波变换(2D-DWT)与卷积运算的羊脸特征提取模块,完成特征融合;之后,以前述羊脸特征提取模块为基础,添加分类模块,进行卷积神经网络搭建;最后,进行超参数组合寻优,形成羊脸识别模型。试验结果表明,本文所构建的羊脸识别模型在日间、夜间两种不同光照环境下测试集上识别准确率分别可达99.74%和99.89%,高于AlexNet、VGGNet-16、GoogLeNet、ResNet-50、DenseNet-121等经典卷积神经网络模型,说明所构建模型适用于羊只的个体识别,为精准养殖、农险理赔领域相关工作提供了有效解决方案。     

基于高光谱成像的绿皮马铃薯检测方法

针对任意放置姿态下的轻微绿皮马铃薯难以检测的问题,进行了半透射与反射高光谱成像方式的不同检测方法比较研究,最终确定较优高光谱成像方式的检测方法。分别以半透射与反射高光谱成像方式对图像维提取RGB、HSV和Lab空间颜色信息,并采用等距映射、最大方差展开、拉普拉斯特征映射进行图像信息降维;分别以半透射与反射高光谱成像方式对光谱维提取感兴趣区域的平均光谱数据,并采用局部保持投影、局部切空间排列、局部线性协调进行光谱信息降维;然后分别建立不同高光谱成像方式下的图像与光谱信息的深度信念网络模型;对识别率良好的模型采用多源信息融合技术进一步优化,并建立基于图像和光谱融合或不同成像方式融合的模型。结果表明,基于半透射和反射高光谱的光谱信息融合模型最优,校正集和测试集识别率均达到100%,可实现轻微绿皮马铃薯的无损检测。     

基于多核主动学习和多源数据融合的农田塑料覆被分类

通过引入多源多时相卫星遥感数据,提出了一种基于多核主动学习的农田塑料覆被分类算法,实现农业塑料大棚和地膜的精准分类.首先基于多时相Sentinel-1雷达和Sentinel-2光学遥感影像,提取其光谱特征、纹理特征等,以构建多维特征空间.然后构建多核学习模型,实现多源、多时相特征的自适应融合.最后构建基于池的主动学习策...     

基于IFSSD卷积神经网络的柚子采摘目标检测模型

为了解决柚子采摘时传统水果检测模型对于小目标柚子漏检和将叶子误检为膨大期柚子的问题,设计了一种改进的特征融合单镜头检测器(Inception V3-feature fusion single shot-multibox detector,IFSSD)。该检测器以特征融合单发多盒探测器(Feature fusion single shot-multibox detector,FSSD)为基础检测器,以改进的Inception V3网络作为骨干网络代替超深度卷积神经网络(Very deep convolutional networks 16,VGG16),从而提高了计算效率,同时使用Focal Loss损失函数代替Multibox Loss损失函数,进而改善了由于正负样本不平衡导致的检测器误检情况。对测试数据集进行检测,结果表明,该模型的检测准确率为93. 7%(IoU大于0. 5),在单个NVIDIA RTX 2060 GPU上每幅图像检测时间为29 s。本文模型可以实现树上柚子的自动检测。     

基于椭圆型度量学习的小麦叶部病害识别

特征提取和相似性度量是基于图像处理的农作物病虫害识别方法中的两大关键问题。以感染小麦白粉病的叶片为研究对象,提出了一种基于椭圆型度量学习的小麦叶部病害严重度识别算法。该算法首先给出了一种滑窗最大值（Moving window maximum, MWM）特征提取方法,对分割后的病斑图像采用滑窗法提取HSV颜色特征和LBP纹理特征,在同一水平条滑窗上取每一维特征的最大值作为这一水平条的特征,这种MWM特征表示方法能有效减弱小麦叶片弯曲、倾斜、拍摄角度不同等对识别率的影响;然后,引入对样本数据具有更好区分性的椭圆型度量,根据样本的类内与类间高斯分布的对数似然比定义椭圆型度量矩阵,为了保持最大化的分类信息,将特征子空间学习和椭圆型度量学习同时进行;最后,利用得到的椭圆型度量计算特征向量之间的距离实现不同严重度病害的识别。对比实验结果表明,本文算法使得小麦白粉病严重度的识别正确率达到了100%,优于SVM方法的88.33%、BP神经网络方法的90%。     

基于SBERT-Attention-LDA与ML-LSTM特征融合的烟草问句意图识别方法

针对烟草领域中问句意图识别存在的特征稀疏、术语繁多和捕捉文本内部的语义关联困难等问题,提出了一种基于SBERT-Attention-LDA(Sentence-bidirectional encoder representational from transformers-Attention mechanism-Latent dirichlet allocation)与ML-LSTM(Multi layers-Long short term memory)特征融合的问句意图识别方法。该方法首先基于SBERT预训练模型和Attention机制对烟草问句进行动态编码,转换为富含语义信息的特征向量,同时利用LDA模型建模出问句的主题向量,捕捉问句中的主题信息;然后通过更改后的模型级特征融合方法ML-LSTM获得具有更为完整、准确问句语义的联合特征表示;再使用3通道的卷积神经网络(Convolutional neural network,CNN)提取问句混合语义表示中隐藏特征,输入到全连接层和Softmax函数中实现对问句意图的分类。基于烟草行业权威网站上获取的数据集开展了实验验证,实验结果表明,所提方法相比其他几种深度学习结合注意力机制的方法精确率、召回率和F1值上有显著提升,与BERT和ERNIE(Enhanced representation through knowledge integration and embedding)-CNN模型相比提升明显,F1值分别提升2.07、2.88个百分点。     

基于改进YOLO v5s的奶山羊面部识别方法

为准确高效地实现无接触式奶山羊个体识别,以圈养环境下奶山羊面部图像为研究对象,提出一种基于改进YOLO v5s的奶山羊个体识别方法。首先,从网络上随机采集350幅羊脸图像构成羊脸面部检测数据集,使用迁移学习思想预训练YOLO v5s模型,使其能够检测羊脸位置。其次,构建包含31头奶山羊3 844幅不同生长期的面部图像数据集,基于预训练的YOLO v5s,在特征提取层中引入SimAM注意力模块,增强模型的学习能力,并在特征融合层引入CARAFE上采样模块以更好地恢复面部细节,提升模型对奶山羊个体面部的识别精度。实验结果表明,改进YOLO v5s模型平均精度均值为97.41%,比Faster R-CNN、SSD、YOLO v4模型分别提高6.33、8.22、15.95个百分点,比YOLO v5s模型高2.21个百分点,改进模型检测速度为56.00 f/s,模型内存占用量为14.45 MB。本文方法能够准确识别具有相似面部特征的奶山羊个体,为智慧养殖中的家畜个体识别提供了一种方法支持。     

基于YOLO v5的农田杂草识别轻量化方法研究

针对已有杂草识别模型对复杂农田环境下多种目标杂草的识别率低、模型内存占用量大、参数多、识别速度慢等问题,提出了基于YOLO v5的轻量化杂草识别方法。利用带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration,MSRCR)增强算法对部分图像数据进行预处理,提高边缘细节模糊的图像清晰度,降低图像中的阴影干扰。使用轻量级网络PP-LCNet重置了识别模型中的特征提取网络,减少模型参数量。采用Ghost卷积模块轻量化特征融合网络,进一步降低计算量。为了弥补轻量化造成的模型性能损耗,在特征融合网络末端添加基于标准化的注意力模块(Normalization-based attention module,NAM),增强模型对杂草和玉米幼苗的特征提取能力。此外,通过优化主干网络注意力机制的激活函数来提高模型的非线性拟合能力。在自建数据集上进行实验,实验结果显示,与当前主流目标检测算法YOLO v5s以及成熟的轻量化目标检测算法MobileNet v3-YOLO v5s、ShuffleNet v2-YOLO v5s比较,轻量化后杂草识别模型内存占用量为6.23MB,分别缩小54.5%、12%和18%;平均精度均值(Mean average precision,mAP)为97.8%,分别提高1.3、5.1、4.4个百分点。单幅图像检测时间为118.1ms,达到了轻量化要求。在保持较高模型识别精度的同时大幅降低了模型复杂度,可为采用资源有限的移动端设备进行农田杂草识别提供技术支持。     

基于高光谱图谱融合技术的英德红茶等级快速无损判别

茶叶等级评价是检测茶叶品质的一项重要技术指标。通过提取红茶高光谱成像技术下的图像特征和光谱特征,构建一种基于图谱融合方法、适用于英德红茶等级评价的快速无损判别模型。首先制备3种不同等级的红茶样本,采用t分布-随机近邻嵌入和主成分分析对光谱数据进行降维可视化分析,然后从影响内在品质角度用连续投影法提取每种化学值的特征波长,通过多模型共识策略和竞争性自适应重加权算法-连续投影法筛选得出表征其内在品质的最佳特征波长组合,并建立基于遗传算法优化支持向量机的等级判别模型;其模型的训练集准确率为88%,预测集准确率为78.33%。为了融合外形纹理差异,先提取最佳特征波长组合对应的高光谱图像;采用图像掩膜消除背景的干扰和采用图像主成分分析消除多波长图像间的冗余信息,然后采用灰度共生矩阵和局部二值化算法提取主成分前三维主成分图像与特征光谱融合,并建立基于特征融合的遗传算法优化支持向量机等级判别模型,且基于第三主成分图像特征融合模型判别效果最佳,训练集准确率提升至98%,预测集准确率提升至96.67%。     

基于改进Mask R-CNN的水稻茎秆截面参数检测方法

针对人工测量、统计作物茎秆显微切片图像中维管束数目、面积等关键参数主观性强、费时费力、效率低的问题,提出一种基于图像处理的水稻茎秆截面参数自动检测方法。首先构建了一个基于改进Mask R-CNN网络的水稻茎秆切片图像分割模型。网络以MobilenetV2和残差特征增强及自适应空间融合的特征金字塔网络为特征提取网络,同时引入PointRend增强模块,并将网络回归损失函数优化为IoU函数,最优模型的F1值为91.21%,平均精确率为94.37%,召回率为88.25%,平均交并比为90.80%,单幅图像平均检测耗时0.50 s,实现了水稻茎秆切片图像中大、小维管束区域的定位、检测和分割;通过边缘检测、形态学处理及轮廓提取,实现茎秆截面轮廓的分割提取。本文方法可实现对水稻茎秆截面面积、截面直径,大、小维管束面积,大、小维管束数量等6个参数的自动检测,检测平均相对误差不超过4.6%,可用于水稻茎秆微观结构的高通量观测。