基于改进深度学习的海量多媒体图像信息快速检索研究

目的 为了更为快速、准确地完成图像检索,提出一种基于改进深度学习的海量多媒体图像信息快速检索方法.方法 首先对多媒体图像进行预处理,包括混合滤波去噪和直方图均衡化,以此提升图像质量,然后对深度学习中的卷积神经网络进行改进,增加图像特征融合层,避免图像细节特征丢失,最后通过度量图像特征之间的相似度来完成图像信息检索.结果...     

基于双路卷积神经网络的植物叶片识别模型

目的针对卷积神经网络识别植物叶片过程中，叶片边缘形状对卷积层的过度作用而导致相似边缘形状叶片识别错误的问题，提出了一种双路卷积神经网络的植物叶片识别模型。方法模型考虑了叶片信息的边缘形状与内部纹理特征，构建了双路卷积神经网路结构，其中形状特征路径运用7层卷积层的网络结构，前3层采用大尺寸11×11及5×5的卷积核提取大视野特征，完成叶片形状特征提取，另外4层卷积层采用3×3小尺寸卷积核提取叶片细节特征；纹理特征路径采用6个3×3卷积核的卷积层，提取叶片纹理图像细节特征；然后通过特征融合层将两类特征相加为融合特征，并利用全连接层对植物叶片种类进行识别。结果实验结果表明，双路卷积神经网络模型与单路卷积神经网络和图像处理分类识别模型相比，在Flavia叶片数据集与扩充植物叶片数据集上，Top-1识别准确率分别提高到了99.28%、97.31%，Top-3识别准确率分别提高到了99.97%、99.74%，标准差较其他识别与分类模型下降到0.18、0.20。结论本文提出的叶片识别模型能有效避免相似叶片边缘形状干扰而导致识别错误的问题，可以提高植物叶片的识别准确率。      

基于特征融合Transformer的EfficientNet v2网络对马铃薯叶片病害的识别

马铃薯叶片病害是影响马铃薯质量和产量的主要因素,为了能够快速准确地识别马铃薯叶片病害并采取对应的防控和救治措施,本研究提出一种新型马铃薯叶片病害识别方法。该方法利用EfficientNet v2网络提取图像特征,通过4个不同尺度的网络层进行金字塔融合,从而捕捉不同尺度下的图像细节和上下文信息,并在金字塔融合中的每个下采样环节都添加1个CBAM注意力机制模块,且每个CBAM模块后都加入Vision Transformer的Encoder模块进行特征增强,帮助提升所提取特征的丰富性和抽象能力,最后使用softmax进行分类。研究提出的模型识别准确率达到98.26%,相比改进之前提升3.47百分点,且其loss收敛更快,宏平均值与加权平均值都有明显提升。消融试验表明,该模型在各项指标上的表现最优,超过基线模型和融合模型,大幅提高图像分类识别任务模型的性能表现。该方法可有效提高病害区域的识别能力和检测准确率,且能在强干扰的环境下做到高精度识别,具有良好的鲁棒性和适应性,同时能解决病害识别中泛化能力弱、精度低、计算效率低等问题。     

融合枣果与叶片信息的枣品种识别方法研究

针对自然环境下枣品种分类问题,提出了1种基于特征融合的枣品种快速识别方法。该方法考虑了枣果特征与枣叶片形状、纹理特征,构建了三分支并行卷积神经网络结构,其中3个分支均在ResNet-18网络的基础上进行训练并提取相应的特征,然后将枣叶片的两类特征相加,再将其和枣果特征进行拼接融合,最后通过全连接层实现枣品种的分类。实验结果表明,三分支卷积神经网络模型与单、双分支网络模型相比,分类准确率提高到了91.68%。本文提出的识别模型能有效避免相似枣果形状干扰而导致识别错误的问题,可提高自然环境下枣品种的识别准确率。     

基于几何特征的三维模型特征提取方法评述

在互联网中,随着海量的三维模型数据在许多领域的出现,对这些模型数据的检索成为一个重要的研究课题。在各种检索方法中,基于形状特征的检索相对于传统的文字检索方式的检索结果更为准确。主要研究基于几何特征的这一类技术中的一些新方法并对比评估这些方法的性能。     

基于光谱与纹理特征融合的绿萝叶绿素含量检测

[目的]本文旨在快速测定植物体内叶绿素含量,以提高无损测定叶绿素的准确性。[方法]以绿萝叶片为研究对象,提出一种串联融合高光谱特征与纹理特征的叶绿素SPAD值的无损检测方法。采集320片绿萝叶片样本在400～900 nm波段的光谱信息,使用Savitzky-Golay卷积平滑对原始高光谱图像进行预处理,利用连续投影算法(successive projections algorithm, SPA)选取出10个特征波段,对绿萝叶片高光谱图像中的RGB图像采用灰度共生矩阵算法(gray-level co-occurrence matrix, GLCM)提取其纹理特征,采用串联方法融合高光谱特征与纹理特征得到融合特征,分别建立单一特征和融合特征的误差反向传输人工神经网络(back propagation artificial neural network, BPANN)和支持向量机回归(support vector machine regression, SVR)模型。[结果]单一使用特征光谱数据或图像纹理数据作为特征值建立的预测模型,综合性能不稳定;基于串联融合特征的预测模型准确率有明显提升。基于串联融合特征的SVR模型具有最佳的预测结果,校正集决定系数R~2为0.961 2,预测集决定系数R~2为0.957 1。[结论]高光谱特征与纹理特征的融合特征可以提高叶绿素回归预测模型的准确性,为叶绿素含量无损检测提供了重要参考。     

基于特征融合的随机森林模型茶鲜叶分类

目的 解决机采茶鲜叶中混有不同等级的茶叶,且混杂度高、物理特征分类精确度低的问题。方法 利用随机森林分类模型,提出一种基于颜色和边缘特征融合的方法。试验采集3种不同等级的茶鲜叶,对原始图像进行裁剪、尺寸归一化和去噪等处理,再进行颜色特征和边缘特征提取。通过参数的修改和测试,构建最优的随机森林分类模型,并且同K最近邻、SVM分类器进行对比试验。结果 特征融合之后随机森林模型的分类准确率达到99.45%,比单一颜色特征和边缘特征的分类准确率分别高7.14和9.34个百分点;比K最近邻和SVM分类器准确率分别高15.38和5.49个百分点。结论 所建立的方法能够对茶鲜叶单芽、一芽一叶、一芽二叶进行精确的分类。     

基于声音与视觉特征多级融合的鱼类行为识别模型U-FusionNet-ResNet50+SENet

为解决在光线昏暗、声音与视觉噪声干扰等复杂条件下,单模态鱼类行为识别准确率和召回率低的问题,提出了基于声音和视觉特征多级融合的鱼类行为识别模型U-FusionNet-ResNet50+SENet,该方法采用ResNet50模型提取视觉模态特征,通过MFCC+RestNet50模型提取声音模态特征,并在此基础上设计一种U型融合架构,使不同维度的鱼类视觉和声音特征充分交互,在特征提取的各阶段实现特征融合,最后引入SENet构成关注通道信息特征融合网络,并通过对比试验,采用多模态鱼类行为的合成加噪试验数据验证算法的有效性。结果表明：U-FusionNet-ResNet50+SENet对鱼类行为识别准确率达到93.71%,F1值达到93.43%,召回率达到92.56%,与效果较好的已有模型Intermediate-feature-level deep model相比,召回率、F1值和准确率分别提升了2.35%、3.45%和3.48%。研究表明,所提出的U-FusionNet-ResNet50+SENet识别方法,可有效解决单模态鱼类行为识别准确率低的问题,提升了鱼类行为识别的整体效果,可以有效...     

基于特征融合和相关反馈技术的图像检索研究

为提高图像检索精度,在研究单一特征检索算法基础上,提出了基于底层-底层和底层-高层2种级别的特征融合检索方法,利用相关反馈技术逐步求精以提高检索性能,并用VC#和SQL server2005实现了一个图像检索原型系统。研究表明,利用该研究方法能够提高图像检索精度,因而具有可行性。     

一种基于混合深度置信模型的面部表情识别方法

针对特征提取算法中存在的特征标注困难、有效特征丢失等问题,文中提出一种基于混合深度置信模型的识别方法,该方法利用深度模型来解决维度灾难,实现视觉特征的分层学习,从而提高识别精度.首先,为达到融合局部特征和全局特征信息的目的,本文根据表情特征分布特点进行图像分割,由分割的关键区域图像和整体图像加上不同的贡献度形成混合模型;其次,将图像输入到深度置信网络中,实现数字图像视觉特征的分层学习,抽象出代表表情类别的有效特征,从而避免人工设计特征提取中存在的提取困难和特征丢失的缺陷;最后,利用训练样本求解、更新混合模型组件的贡献度,提升算法的精度和鲁棒性.在JAFFE、Cohn-kanade表情库中的实验结果表明,本文提出的混合深度置信模型方法能对表情视觉特征进行有效学习,提高了表情识别的精度,识别率达到97.94%.     

基于自适应特征融合的水稻氮素营养诊断

为了快速准确地对水稻进行氮素营养诊断,提出一种基于自适应特征融合的水稻氮素营养诊断方法。该方法通过对杂交稻两优培九进行田间试验,设置4组不同的氮肥梯度(施氮量分别为0、210、300、390 kg/hm²),扫描获取水稻叶片图像并进行数据预处理,构建基于自适应特征融合的水稻氮素营养诊断模型ResNet34-AFF-SE。使用构建的ResNet34-AFF-SE模型对水稻叶片进行氮素营养诊断,结果表明,在水稻生长的幼穗分化期、齐穗期,ResNet34-AFF-SE的识别准确率为97.5%、97.2%,模型大小为87.9 MB。ResNet34-AFF-SE模型在准确率和训练时间上优于AlexNet、VGG16、MobilNet v3-small等网络模型。基于自适应特征融合的水稻氮素营养诊断方法所建立的ResNet34-AFF-SE模型具有较高的识别准确率,可以精准地识别水稻叶片的氮素营养状况,为水稻作物的氮素营养诊断提供了新的思路。     

基于改进YOLOv5网络的疏果前苹果检测方法

为了实现自然环境下疏果前苹果的快速识别和精确定位，满足果园智能化种植需求，提出了一种基于改进的YOLOv5深度学习的检测模型。首先，为了解决苹果的尺度大小不一带来的问题，改进目标检测层，在YOLOv5的第17层之后对特征图进行上采样，在第20层将网络提取到的特征图与Backbone网络中的第2层特征图进行融合操作，以生成不同尺寸的检测层。其次，为了克服复杂环境的影响，改进特征融合网络，使用BiFPN(Bidirectional Feature Pyramid Network))进行特征融合，来更有效地提取目标信息。最后，将采集到的苹果图像进行不同网络模型检测效果对比试验。试验表明，改进的模型经过8 274幅图像训练，在2 759幅测试集上的检测准确率为94.2%,召回率为95.2%,F₁值为94.7%;相比YOLOv3、YOLOv4、原YOLOv5网络，准确率分别提高了4.4%、7.0%、2.3%,F₁值分别提高6.1%、6.5%、2.6%;相比YOLOv3、YOLOv4网络，图像的检测速度分别提高了13.5、21.4 ms/幅。结果表明，在...     

三维模型特征点曲度球面调和表达

定义了一种新的三维模型的局部特征描述符——曲度.曲度作为对平均曲率与高斯曲率的校正,在不增加额外计算量的前提下,既克服了平均曲率对平滑模型的不敏感性,又克服了高斯曲率分布较均匀的缺点,更真实的反应了三维模型表面的局部弯曲程度.同时利用曲度定义了三维模型的球函数,并对此球函数进行调和分析,得到一组平移,旋转,缩放不变的特征描述符,并使用此特征描述符进行检索.试验结果表明,此方法在保证查全率的基础上明显提高了检索的查准率,具有较好的检索效果.     

基于LBPHSV+ResNet50融合的水稻冠层氮素营养监测方法

为采用数码相机拍摄的水稻冠层图像来估测作物的氮素含量。以自然环境下获得的水稻冠层图像为研究对象,提出一种基于图像纹理色彩特征(LBPHSV)和ResNet50网络融合算法的氮素含量预测方法。LBPHSV+ResNet50融合算法是通过运用LBP算子和HSV颜色空间矩阵提取图像特征参数,将提取到的融合特征集作为ResNet50模型输入以加强对作物氮素营养的表征,并将预测结果与常用的多元线性回归、随机森林(RF)、支持向量回归模型、多层感知机、卷积神经网络、长短记忆网络(LSTM)及组合模型预测结果进行对比分析。结果显示:相比于浅层机器学习模型,深度学习算法能显著提高预测模型的准确率;LBPHSV+ResNet50融合模型的预测能力和泛化能力达到最优,R²和 RMSE分别为 0.97、0.02。相比于RF、LBP+LSTM、ResNet50,新模型的R²分别提升了16.36%、9.72%、16.55%和1.13%,RMSE 分别下降了 0.35、0.46、0.05和 0.002。因此,LBPHSV+ResNet50融合模型在预测水稻氮素含量时可提供令人满意的性能,能够满足对水稻氮素营养无损精准监测的农业需求。     

多特征加权融合算法的生活垃圾图像分类研究

为改善我国现有的垃圾问题,实现准确且高效的垃圾分类工作,提出一种基于多特征加权融合的生活垃圾图像分类算法。该算法利用ResNet网络为主干网络,利用多分支网络结构提取图像不同层次的特征信息再进行加权融合,并进行了自适应权重融合实验和固定权重融合实验。实验结果表明,自适应实验组的分类准确率为97.29%;进行固定权重融合实验,发现全部平均系数下模型的生活垃圾图像分类准确率为97.42%;对比不同算法模型下分类的准确率大小,得到此次研究提出模型的分类准确率为97.52%。说明所提出的算法模型能够较好地识别各种生活垃圾图像,并对垃圾图像进行高效分类。     

基于病斑特征融合的烟草病害图像检索方法

针对目前烟草病害诊断专家系统依靠肉眼获取病害特征,致使病害诊断存在不确定性、误判等现象,提出了一种基于病斑特征融合的烟草病害图像检索方法以诊断病害。通过图像处理技术分割病害图像病斑,提取病斑的颜色、纹理、形状特征,依据双编码遗传算法和支持向量机识别病害模型对病斑特征降维,以获取表征病害的有效特征及权重。将有效特征归一化处理后与病害图像数据库系统中的病斑特征进行图像相似度距离计算,按距离大小返回一批相似图像,依据相似图像获取病害描述及防治措施。以烟草7种常见病害进行试验表明,融合病斑的颜色、纹理、形状特征检索病害图像,查准率和查全率明显比用单个特征检索的高。用这种方式诊断烟草病害,不但有较高的病害识别率,还能使诊断结果可视化,将其用于烟草病害诊断专家系统,将提高系统的鲁棒性,为实现病害的远程在线诊断提供条件。     

最佳区域匹配在彩色图像检索中的应用

为了减小分割的不确定性对检索结果的不良影响,提出通过检索图像与数据库中图像各区域之间的特征距离得到最佳匹配区域,即综合所有区域特征的距离方法来实现图像匹配.同时根据人眼的视觉特点,在全局相似度量时对检索图像各个区域的重要系数进行调整,与全局颜色直方图等方法比较.结果表明,用本文的检索方法检全率与检准率进一步提高,对于目标显著的图像其检索结果更是明显提高.     

基于改进MaxViT的辣椒病害识别分类方法

为实现复杂环境下辣椒病害的精准识别和分类,设计了一种适用于辣椒病害识别分类的方法。以辣椒在生长过程中常见的6种病害为分类研究的对象,使用数据增强的方法扩充数据集,提出一种基于MaxViT改进的MaxViT-DF模型,将MaxViT模型中的普通卷积替换为可变形卷积,使模型在提取特征时能更贴近复杂环境下的识别目标;同时在MaxViT模型施加注意力时引入特征融合模块,提高模型的全局感知能力。结果显示,改进的MaxViT-DF模型识别分类准确率达到98.10%,对6种辣椒病害的分类精度均高于95%。与ResNet-34、EfficientNetv2和VGG-16等模型相比,改进模型在收敛速度和分类精度上具有明显优势。以上结果表明,MaxViT-DF模型能够对不同种类的辣椒常见病害进行有效的分类识别。     

基于Grad-CAM可视化和特征识别率结合的草地贪夜蛾及近缘种成虫识别模型评估方法

为提升草地贪夜蛾及其近缘种成虫识别模型的泛化能力,除识别准确率外额外引入特征识别率对模型的泛化能力进行评估。将带有批归一化层的VGG-16-bn模型的全连接层以全局平均值池化层取代,并在模型训练阶段引入了Grad-CAM可视化结果进行训练指导,共构建了4种改进模型识别草地贪夜蛾及其近缘种成虫。试验结果表明,改进后的模型的识别准确率均在99.22%以上,VGG-16-bn-GAP模型参数内存需求仅为原始模型的10.98%。为评估模型的泛化能力,利用导向反向传播梯度值、Grad-CAM及Grad-CAM++对模型习得的特征进行可视化,并和专家进行人工识别的关键视觉特征进行比较,结果表明改进的VGG-16-bn-GAP模型和VGG16-bn-GAIN模型获得的草地贪夜蛾平均特征识别率比原始模型分别提高12.25%和13.42%。两种改进方式单独应用均能显著提高特征识别率,但同时使用两种方法效果并不明显。本文提出的以特征识别率评估模型泛化能力的方法,可为特征识别率和识别准确率的提升提供参考。     

基于深度学习的在线烟叶等级判定研究

对烟叶进行等级判定可以合理利用烟叶资源，提高卷烟产品质量，对实现经济利益最大化有重要意义。提出一种基于深度学习的在线烟叶等级判定方法，该方法采用ResNeXt为基础网络，在残差结构中嵌入SE模块以增强重要通道的信息，并引入FPN+PAN结构将网络浅层细节特征和高层语义特征进行融合，以实现多尺度特征表达。测试结果表明，该方法烟叶等级判定的准确率达到92.8%,因此该方法对烟叶等级具备良好识别的能力，可适用实际生产。