高光谱数据降维技术研究

高光谱数据对地物具有更高的光谱分辨率,但是由于高光谱数据巨大的数据量以及相邻波段之间的强相关性,导致了对这种数据的许多分类方法达不到应有的效果,从而在某种程度上制约了其广泛的应用。研究表明,特征提取的理论与方法对高光谱信息的优化处理是十分有效的。实验结果表明,在一定的分类精度范围内,减低维数而不丢失信息,可以提高分类器的效能,实现高维遥感数据的优化处理和高效利用。     

基于双分支卷积网络的高光谱与多光谱图像协同土地利用分类

高精度监测土地利用对实现可持续发展有重要意义。然而,由于遥感传感器成像的限制和地物的复杂性,单一的高光谱和多光谱图像已经不能满足高精度土地利用分类的要求,充分利用高光谱和多光谱遥感图像的互补信息能克服仅采用单一遥感图像分类的不足。该研究设计双分支卷积神经网络协同高光谱和多光谱遥感图像进行土地利用分类。针对高光谱图像设计3维-1维卷积神经网络（3D-1D Convolutional Neural Networks,3D-1D CNN）分支自动提取高光谱图像的空间-光谱特征;针对多光谱图像,设计3维卷积神经网络（3D Convolutional Neural Networks,3D CNN）分支提取多光谱图像的空间-光谱特征;设计融合层将从高光谱和多光谱图像提取的特征进行融合,最后通过全连接层输出土地利用类别。研究表明,与决策树（Decision Tree,DT）、支持向量机（Support Vector Machine,SVM）以及1D、2D和3D CNN方法相比,该文提出的基于双分支卷积神经网络的方法在两个数据集上Kappa系数平均分别提升了15.9、8.1、5.4、5.4和2.7个百分点。     

基于深度学习的甜味剂分类模型

针对开发甜味剂过程中筛选百万级别甚至千万级别的天然或合成分子需要大量时间和资金的问题,该研究提出了一种基于深度学习的甜味剂分类模型。首先对数据集进行了扩增和优化,生成分子指纹以及分子图片,然后将注意力机制加入到DenseNet结构中,对分子特征和提取的特征进行融合。在20 029个分子图像和分子指纹数据集上进行训练,并在独立测试集上进行模型检验。试验结果表明,分类准确率为0.934,准确率波动幅度小于0.005,4类物质（强甜味、弱甜味、无味、苦味）的分类精度均超过0.91,优于传统机器学习模型和常用的卷积神经网络模型,可以从大量分子中筛选并识别目标分子,能使相关研究人员更容易地筛选出潜在甜味剂,并为将来甜味剂的筛选提供了一种思路与方法。     

基于非线性降维时序遥感影像的作物分类

当前基于时序遥感数据的作物分类方法大都需要较多专家知识及人工干预,难以自动化,也难以移植到其他地区。将光谱降维技术用于时序遥感影像分析可以很好地解决这一问题。其中,非线性降维方法已经成功应用于高光谱数据,并且获得了比线性降维方法更好的结果。但是,直接将非线性降维方法用于时序遥感影像无法充分利用其时相维度的信息。该文改进了一种非线性降维算法——Laplacian Eigenmaps(LE)用于时序遥感影像的作物分类,该方法更加关注相同时相下不同作物生长季的物候特征差异,而不再仅依赖于整个生长季的物候曲线轮廓。改进的LE算法被应用于美国伊利诺伊州覆盖作物全生长季的Landsat 8时间序列影像。降维后保留的波段结合随机森林分类器基于美国农业部Cropland Data Layer(CDL)提供的训练数据完成了一系列的分类试验,并与传统插值未降维的方法进行对比。试验结果表明,改进的LE降维方法完成了更高的整体及各个类别的分类精度,其中整体分类精度达到85.37%,该方法作为一种自动化的方法,不需要人工干预,可直接移植到其他研究区,并且只需要较少的训练样本就可以完成一个较高的分类精度,为日后不同尺度的作物识别和提取研究提供了有效的方法。     

利用空间-光谱双分支特征和动态选择的高光谱影像农作物分类

高光谱遥感可以捕获地表近乎连续的光谱曲线,以较高的光谱诊断能力对地表农作物进行精细分类与识别。传统基于深度学习的高光谱分类算法中空间、光谱特征捕捉利用困难、冗余特征筛选能力不足、模型约束过于单一等问题,导致农作物类型复杂且样本分布不均区域分类模型性能下降。该研究提出一种基于空间-光谱双分支动态特征选择的高光谱分类算法,在结合通道注意力机制和空间注意力机制进行空间-光谱特征提取的基础上,通过门控卷积层对提取到的特征进行相关性的计算和处理,实现空间维度和通道维度上的特征动态选择,并分别从空间、光谱和联合特征3个角度对分类结果约束,结合分类损失函数实现高光谱影像的分类任务。结果表明,在JAAS(Jiangsu academy of agricultural sciences,江苏省农业科学院)高光谱农作物分类数据集上,该研究算法总体精度、Kappa系数分别为99.35%和99.20%,相较于专为高光谱分类设计的算法CDCNN(contextual deep convolution network,上下文深层卷积网络)、 WCRN(wide contextual residual networ...     

基于高光谱技术的猪肉肌红蛋白含量无损检测

为充分利用猪肉光谱与图像信息,实现猪肉肌红蛋白含量的在线检测,该研究提出一种基于深度学习模型的猪肉肌红蛋白含量无损检测方法。采用高光谱设备采集冷藏过程中猪肉高光谱图像,通过ENVI5.3选择图像感兴趣区域（Region Of Interest,ROI）,分别提取ROI平均光谱信息与主成分图像信息。利用卷积自动编码器（Convolutional Auto Encoder,CAE）提取光谱与图像信息深度特征,分别建立光谱特征、图像特征及图-谱融合特征与肌红蛋白含量之间关系的卷积神经网络（Convolutional Neural Network,CNN）预测模型。其中基于融合深度特征CNN预测模型准确度较高,该模型对脱氧肌红蛋白（DeoMb）、氧合肌红蛋白（OxyMb）、高铁肌红蛋白（MetMb）含量预测集决定系数分别为0.964 5、0.973 2、0.958 5,预测集均方根误差RMSEP分别为0.015 8、0.226 6、0.381 6。为进一步验证图-谱融合特征与猪肉肌红蛋白存在对应关系,分别建立偏最小二乘回归（Partial Least Squares Regression,PLSR）、支持向量机回归（Support Vector Regression,SVR）预测模型。结果表明：CAE能充分提取图像与光谱特征;基于融合特征建立回归模型能提高肌红蛋白含量预测精度,相比于光谱信息与图像信息,以MetMb为例,其分别提高5.42%、16.12%。该检测方法为肉类质量在线检测提供参考,具有好的应用前景。     

基于无人机高光谱影像的马铃薯叶绿素含量估测

[目的]叶绿素含量高低反映植被的健康状况与光合能力.研究准确、有效地将冠层影像反演为叶绿素含量的技术参数,以便经济快速、实时地监测作物生长状况.[方法]田间试验于2018-2020年在内蒙古阴山北麓马铃薯主产区进行,设置氮肥梯度处理,在马铃薯块茎膨大期和淀粉积累期,测定试验地马铃薯植株SPAD值,通过线性关系将其转化成...     

基于流形学习算法的马铃薯机械损伤机器视觉检测方法

针对马铃薯表面芽眼和凹凸不平的影响,使之马铃薯机械损伤难以检测的问题,该文提出了一种基于流形学习算法的马铃薯机械损伤检测方法。首先利用马铃薯图像的显著图分割出马铃薯区域,然后利用主成分分析(principal component analysis,PCA)、等距映射(isometric mapping,Isomap)和局部线性嵌入(locally-linear embedding,LLE)3种流形学习方法提取马铃薯区域图像特征参数,然后分别建立基于3种流形特征的支持向量机(support vector machine,SVM)分类模型PCA-SVM、Isomap-SVM和LLE-SVM,利用网格搜索法(grid search)、遗传算法(genetic algorithm,GA)以及粒子群算法(particle swarm optimization,PSO)3种模型参数优化方法,优化支持向量机模型的惩罚参数c和RBF核参数g,以建立最优分类模型,最后比较3种分类模型的识别效果,确定最优分类模型。研究结果表明,PCA-SVM分类模型对训练集识别率为100%,测试集识别率为100%;Isomap-SVM分类模型对训练集识别率为100%,测试集识别率为91.7%;LLE-SVM分类模型对训练集识别率为100%,测试集识别率为91.7%,表明PCA、Isomap和LLE 3种流形学习方法用于马铃薯机械损伤检测是可行的,其中PCA-SVM分类模型检测效果最优。     

基于不同卷积神经网络模型的红壤有机质高光谱估算

以卷积神经网络（Convolutional Neural Network,CNN）为代表的深度学习方法因具有强大的特征学习能力已被广泛应用于计算机视觉、自然语言处理等领域,但在土壤高光谱遥感领域研究较少。为探究其在小样本数据集下,通过高光谱数据估算土壤有机质（Soil Organic Matter,SOM）的可行性,以江西省奉新县北部为研究区,248个红壤样本为研究对象。对比分析深度学习方法CNN、多层感知器（Multilayer Perceptron,MLP）、常用的机器学习方法随机森林（Random Forest,RF）和支持向量机（Support Vector Machine,SVM）在不同光谱预处理下的建模效果,在此基础上分别建立5种各具特点的CNN结构模型,以探讨不同网络结构的建模效果,包括最早提出的LeNet-5、具有大卷积核的AlexNet-8、采用小卷积核的VGGNet-7、含有Inception结构的GoogLeNet-7以及使用残差学习的ResNet-13。此外,还探讨了VGGNet模型在5种不同网络深度下的模型效果。结果表明：在使用原始光谱的情况下,CNN模型依然能够取得较好的建模效果（相对分析误差>2.5）;浅层CNN结构优于深层建模效果,超参数较小的卷积核、步长和池化范围有助于提取更多的特征数量,提高建模精度;VGGNet-7网络结构在所有模型中表现最为突出,在训练集上决定系数为0.895,均方根误差为4.145 g/kg,相对分析误差为3.447,在验证集上决定系数为0.901,均方根误差为4.647 g/kg,相对分析误差为3.291,具有极好的模型估测能力;680、1 360、1 390、1 920、2 310 nm及其附近是VGGNet-7建模过程中所提取的SOM重要特征波长。因此,CNN能够简化光谱预处理过程,在土壤高光谱遥感小样本建模中具备可行性,具有非常广阔的应用前景,VGGNet-7可以应用于红壤地区通过高光谱数据快速、准确的估算SOM含量。     

基于高光谱图像和深度学习的菠菜新鲜度检测

针对传统机器视觉在实现菠菜新鲜度检测精度偏低的问题,该文提出了一种基于高光谱和深度学习技术的圆叶菠菜新鲜度识别新方法。以10℃常温贮存的圆叶菠菜为研究对象,以天为单位,综合考虑影响菠菜新鲜度的6个因素:贮藏天数、外观、含水率、叶绿素a、叶绿素b和胡萝卜素,将菠菜划分为新鲜、次新鲜和腐败3个等级。拍摄菠菜叶片的高光谱图像,计算ROI(region of interest)反射率均值后,基于分组精英策略遗传算法,结合2种分组策略,筛选出含6个波长的组合。定义训练集R和测试集合T,使用SVM分类器,基于波长对应的反射率,分别进行基于光谱特性界定菠菜的新鲜度分类试验。找出了识别率均值最高的3个波长,分别是389.55、742.325和1 025.662 nm。由于基于光谱特性进行菠菜新鲜度检测时识别率偏低。尝试基于菠菜的高光谱图像特征进一步进行菠菜新鲜度识别研究。从高光谱图像集中抽取这3个波长对应的菠菜图像,构成菠菜图像样本库(Norm Img389、Norm Img742、Norm Img1025和Norm Img_merge),基于深度学习技术建立菠菜新鲜度识别模型,对图像样本库中4类图像进行识别试验,平均识别准确率79.69%、68.75%、69.27%和80.99%。而Norm Img389测试集识别正确率接近80%,Norm Img_merge测试集识别正确率最高达到了80.99%,说明融合3个波长对应的图像进行等级识别效果最好。该研究实现了圆叶菠菜新鲜度的无损检测,具有实践和理论意义。     

群养猪侵略性行为的深度学习识别方法

为了解决因传统机器视觉和图像处理方法的局限性以及复杂的猪体姿态和猪舍环境导致对群养猪侵略性行为识别的有效性、准确率较低的问题,该文基于深度学习的方法,提出使用3DCONV的群养猪侵略性行为识别算法-3DConvNet。分3个批次采集18头9.6 kg左右的大白仔猪视频图像,选用第一批次中包含28 d内各个时段的撕咬、撞击、追逐、踩踏4大类,咬耳、咬尾、咬身、头撞头、头撞身、追逐以及踩踏7小类侵略性行为以及吃食、饮水、休息等非侵略性行为共计740段(27114帧)视频作为训练集和验证集,训练集和验证集比例为3:1。结果表明,3DConvNet网络模型在训练集上的识别准确度达96.78%,在验证集上识别准确度达95.70%。该文算法模型对于不同训练集批次的猪只以及不良照明条件下依然能准确识别侵略性行为,算法模型泛化性能良好。与C3D模型进行对比,该文提出的网络模型准确率高出43.47个百分点,单帧图像处理时间为0.50 s,可满足实时检测的要求。研究结果可为猪场养殖环境中针对猪只侵略性行为检测提供参考。     

结合LLE流形学习和支持向量机的猪肉颜色分级

猪肉颜色分级是肉品品质无损检测的重要内容。该文通过对猪肉彩色数字图像颜色规律的分析,结合猪肉红(R)、绿(G)、蓝(B)颜色分量及其亮度和饱和度值,构建了一个新的颜色维度。将采集的1070份猪肉图像样本进行专家分级和标记后,给出了猪肉颜色的特征表示,并利用支持向量机(SVM)进行了颜色分级。试验结果表明,随着训练集样本数的增加,分级准确率有所提高。当将所有样本作为训练集时,分级准确率高达96.5%。针对SVM分级后泛化能力不强的问题,采用流形学习LLE维数变换,使其泛化能力由37%提高近1倍。结果表明LLE可有效改善SVM的分级准确率。该方法可为猪肉品质无损检测的研究与应用提供参考。     

基于深度卷积神经网络的水稻穗瘟病检测方法

穗瘟是一种严重影响水稻产量及品质的多发病害,有效地检测穗瘟是水稻病害防治的重要任务。该文提出基于深度卷积神经网络GoogLeNet模型的水稻穗瘟病检测方法,该方法利用Inception基本模块重复堆叠构建主体网络。Inception模块利用多尺度卷积核提取不同尺度穗瘟病斑分布式特征并进行级联融合。GoogLeNet利用其结构深度和宽度,学习复杂噪声高光谱图像的隐高维特征表达,并在统一框架中训练Softmax分类器,实现穗瘟病害预测建模。为验证该研究所提方法的有效性,以1 467株田间采集的穗株为试验对象,采用便携式户外高光谱成像仪Gaia Field-F-V10在自然光照条件下拍摄穗株高光谱图像,并由植保专家根据穗瘟病害描述确定其穗瘟标签。所有高光谱图像-标签数据对构成GoogLeNet模型训练和验证的原始数据集。该文采用随机梯度下降算法(SGD,stochastic gradient descent)优化GoogLeNet模型,提出随机扔弃1个波段图像和随机平移平均谱图像亮度的2种数据增强策略,增加训练数据规模,防止模型过拟合并改善其泛化性能。经测试,验证集上穗瘟病害预测最高准确率为92.0%。试验结果表明,利用GoogLeNet建立的深度卷积模型,可以很好地实现水稻穗瘟病害的精准检测,克服室外自然光条件下利用光谱图像进行病害预测面临的困难,将该类研究往实际生产应用推进一大步。     

基于改进YOLOv4-Tiny的蓝莓成熟度识别方法

为实现自然环境下蓝莓果实成熟度的精确快速识别,该研究对YOLOv4-Tiny网络结构进行改进,提出一种含有注意力模块的目标检测网络（I-YOLOv4-Tiny）。该检测网络采用CSPDarknet53-Tiny网络模型作为主干网络,将卷积注意力模块（Convolution Block Attention Module,CBAM）加入到YOLOv4-Tiny网络结构的特征金字塔（Feature Pyramid Network,FPN）中,通过对每个通道的特征进行权重分配来学习不同通道间特征的相关性,加强网络结构深层信息的传递,从而降低复杂背景对目标识别的干扰,且该检测网络的网络层数较少,占用内存低,以此提升蓝莓果实检测的精度与速度。对该研究识别方法进行性能评估与对比试验的结果表明,经过训练的I-YOLOv4-Tiny目标检测网络在验证集下的平均精度达到97.30%,能有效地利用自然环境中的彩色图像识别蓝莓果实并检测果实成熟度。对比YOLOv4-Tiny、YOLOv4、SSD-MobileNet、Faster R-CNN目标检测网络,该研究在遮挡与光照不均等复杂场景中,平均精度能达到96.24%。平均检测时间为5.723 ms,可以同时满足蓝莓果实识别精度与速度的需求。I-YOLOv4-Tiny网络结构占用内存仅为24.20 M,为采摘机器人与早期产量预估提供快速精准的目标识别指导。     

基于深度学习与图像处理的哈密瓜表面缺陷检测

针对传统人工检测哈密瓜表面缺陷效率低等问题,提出利用卷积神经网络（Convolutional Neural Networks, CNN）对哈密瓜表面缺陷进行快速检测。对原始图像进行主成分分析（Principal Components Analysis,PCA）、奇异值分解（Singular Value Decomposition, SVD）和二值化等预处理操作,通过数据扩充得到正常、霉菌、晒伤和裂纹的哈密瓜图像各2 500幅。构建一种改进的类似VGG卷积神经网络模型,将预处理后的图像输入模型,并使用随机梯度下降（Stochastic Gradient Descent, SGD）优化器进行算法优化,为探究CNN模型的特征提取原理,将改进的类似VGG模型每层卷积的特征进行可视化,最后利用开发的哈密瓜表面缺陷检测软件对模型进行试验验证。研究结果表明：图像预处理算法提高了模型的鲁棒性和泛化能力,改进的类似VGG模型优于AlexNet和VGG-16模型,其训练集和测试集准确率分别为100.00%和97.14%;对比预处理前后4类哈密瓜卷积特征可视化结果表明,随着卷积层层数的增加,哈密瓜表面缺陷特征越来越明显,图像预处理后卷积层特征提取效果优于原始图像提取效果。软件测试结果表明：静态下哈密瓜缺陷检测速率达到0.7 s/幅,识别准确率达到93.50%。研究结果可为哈密瓜表面缺陷在线检测技术提供理论依据和技术参考。     

深度学习在猪只饲养过程的应用研究进展

随着人工智能技术的兴起,深度学习技术发展迅猛,在图像及音频识别、自然语言处理、机器人技术、生物信息学、化学和金融等领域中应用广泛,也是目前发展精细畜牧业重要工具。养猪业是中国的重要农业产业,生猪的体况、行为及健康状况直接影响猪场的收入水平,通过深度学习技术可以快速、准确地了解猪只的相关信息并进行精确管理,提高猪只饲养效率及动物福利水平。该研究阐述了深度学习在目标猪只检测、猪只图像分割、猪只体况及异常监测、猪只行为识别上的应用现状,提出了深度学习技术在猪只饲养过程中的改进策略,以方便研究人员快速了解其研究进展。同时总结和分析了深度学习技术在猪只饲养过程中关于数据来源及数据集、应用范围、模型优化的不足与展望,提出应建立适用于猪只领域的公共数据集和统一的数据集标准,扩大深度学习的应用范围,优化DL（Deep Learning）模型以满足实际任务需求,将深度学习应用于猪场生产实践中。该研究旨为提高猪只福利化养殖和猪场经济效益提供依据,以推动深度学习在猪只饲养过程中应用的进一步发展。     

基于高光谱图像和光谱信息融合的马铃薯多指标检测方法

针对随机放置的马铃薯缺陷多项指标难以同时检测的问题,提出了一种基于高光谱信息融合的流形学习降维算法与极限学习机(extreme learning machine,ELM)相结合的方法,该方法可同时识别马铃薯的多项缺陷指标。分别采集发芽、绿皮、黑心和合格马铃薯的反射高光谱数据(390~1 040 nm),在光谱维,提取马铃薯样本感兴趣区域(region of interest,ROI)的平均光谱,分别采用扩散映射(diffusion maps,DM)、局部线性嵌入(locally linear embedding,LLE)和海森局部线性嵌入(hessian locally linear embedding,HLLE)3种流形学习降维算法对光谱数据进行降维;在图像维,对马铃薯伪彩色图像进行形态学处理,获取基于灰度共生矩阵(gray level co-occurrence matrix,GLCM)的图像纹理信息,采用连续投影算法(successive projections algorithm,SPA)优选图像纹理特征;融合光谱维信息和图像维信息,分别建立基于极限学习机(ELM)与支持向量机(support vector machine,SVM)的马铃薯多分类识别模型。结果表明,扩散映射结合极限学习机(DM-ELM)模型的预测结果较优,该模型对发芽、绿皮、黑心和合格马铃薯样本的单一识别率分别为97.30%、93.55%、94.44%和100%,混合识别率达到96.58%,时间为0.11 s,可知高光谱信息融合技术结合流形学习降维算法可同时识别随机放置马铃薯的多种缺陷指标。     

基于深度集成学习的青梅品级智能反馈认知方法

针对传统机器判定水果品级的开环认知模式存在特征空间和分类准则一旦建立不再更新的缺陷,模仿人由整体到局部反复推敲比对的思维信息交互认知模式,探索了一种具有认知结果熵测度指标约束的青梅品质智能反馈认知方法。首先,在有限论域不确定条件下从信息论角度建立具有信息完备性评价指标的非结构化多层面动态特征表征的青梅品级认知智能决策信息系统模型。其次,基于架构自适应的卷积神经网络(adaptive structure convolutional neural networks,ASCNNs)和集成随机权向量函数连接网络分类器(random vector functional-link net,RVFL),建立青梅图像由整体到局部有明确品级特征表征映射关系的特征空间数据结构与分类准则。再次,基于广义误差和广义熵理论,建立青梅图像认知结果的熵函数形式测度评价指标。最后,建立基于不确定过程认知结果性能测度指标约束的动态反馈认知智能运行机制。针对1 008幅青梅图像的平均识别率为98.15%,表明该文方法有效地增强了特征空间的泛化能力以及分类器的鲁棒性。该研究可为基于可见光的青梅品级快速准确机器认知提供参考。