基于深度卷积神经网络的田间麦穗密度估计及计数

小麦的最终产量可由单位面积的小麦麦穗数侧面反映,为了快速准确统计小麦麦穗数,该研究给出一种在单幅图像上利用深度卷积神经网络估计田间麦穗密度图并进行麦穗计数的方法。首先对采集的田间小麦图像进行直方图均衡化及阈值分割预处理,以减少图像中光照及一些复杂背景对计数的影响;然后根据灌浆期田间小麦图像麦穗密集的特点,引入拥挤场景识别网络（Congested Scene Recognition Network,CSRNet）构建麦穗密度图估计模型,并采用迁移学习方法,利用小麦图像公开数据集对模型进行预训练,再用所采集的小麦图像数据集进行模型参数调整和优化;利用得到的模型生成单幅小麦图像的麦穗密度图,根据密度图中所有密度值的总和对图像进行麦穗计数。最后根据对单幅麦穗图像的试验数据,构建田间麦穗计数函数模型,实现田间小麦麦穗数估计。通过对所采集的安农170、苏麦188、乐麦608和宁麦24这4个品种共296幅小麦图像进行试验,平均绝对误差（Mean Absolute Error,MAE）和均方根误差（Root Mean Squared Error,RMSE）分别为16.44和17.89,4个品种小麦的麦穗计数值与真实值的决定系数R2均在0.9左右,表明该方法对单幅图像小麦麦穗计数精度较高。此外,通过对田间小麦麦穗数进行估计试验,结果表明,随面积的增大麦穗估计的误差越小,研究结果可以为小麦的产量自动估计提供参考。     

基于多光谱成像技术的大麦赤霉病识别

该文提出了一种根据大麦多光谱图像实时识别大麦赤霉病害的方法。首先利用阈值分割以及形态学的处理算法去除大麦穗图像背景和麦芒干扰信息;其次从预处理后的多光谱图像中提取图像的颜色统计特征;最后将这些颜色统计特征数据经过预处理后应用偏最小二乘法（principal component analysis, PLS）进行模式特征分析,经过交互验证法判别选取最佳的主成分数,输入到最小二乘-支持向量机模型(least square-support vector machine, LS-SVM),建立病害识别模型。经过比较发现多元散射校正处理后,最佳主成分为1的最小二乘支持向量机模型对病害的识别准确率最高,达到93.9%。表明利用多光谱成像信息可对大麦赤霉病进行准确识别,为植物病害监测与防治提供了一条新方法。     

基于卷积神经网络的温室黄瓜病害识别系统

基于图像处理和深度学习技术,该研究构建了一个基于卷积神经网络的温室黄瓜病害识别系统。针对温室现场采集的黄瓜病害图像中含有较多光照不均匀和复杂背景等噪声的情况,采用了一种复合颜色特征(combinations of color features,CCF)及其检测方法,通过将该颜色特征与传统区域生长算法结合,实现了温室黄瓜病斑图像的准确分割。基于温室黄瓜病斑图像,构建了温室黄瓜病害识别分类器的输入数据集,并采用数据增强方法将输入数据集的数据量扩充了12倍。基于扩充后的数据集,构建了基于卷积神经网络的病害识别分类器并利用梯度下降算法进行模型训练、验证与测试。系统试验结果表明,针对含有光照不均匀和复杂背景等噪声的黄瓜病害图像,该系统能够快速、准确的实现温室黄瓜病斑图像分割,分割准确率为97.29%;基于分割后的温室黄瓜病斑图像,该系统能够实现准确的病害识别,识别准确率为95.7%,其中,霜霉病识别准确率为93.1%,白粉病识别准确率为98.4%。     

基于Transformer的强泛化苹果叶片病害识别模型

模型泛化能力是病害识别模型多场景应用的关键,该研究针对不同环境下的苹果叶片病害数据,提出一种可以提取多类型特征的强泛化苹果叶片病害识别模型CaTNet。该模型采用双分支结构,首先设计了一种卷积神经网络分支,负责提取苹果叶片图像的局部特征,其次构建了具有挤压和扩充功能的视觉Transformer分支,该分支能够提取苹果叶片图像的全局特征,最后将两种特征进行融合,使Transformer分支可以学习局部特征,使卷积神经网络分支学习全局特征。与多种卷积神经网络模型和Transformer模型相比,该模型具有更好的泛化能力,仅需学习实验室环境叶片数据,即可在自然环境数据下达到80%的识别精度,相较卷积神经网络EfficientNetV2提升7.21个百分点,相较Transformer网络PVT提升26.63个百分点,能够有效提升对不同环境数据的识别精度,解决了深度学习模型训练成本高,泛化能力弱的问题。     

基于无人机图像的多尺度感知麦穗计数方法

小麦是世界上重要的粮食作物,其产量的及时、准确预估对世界粮食安全至关重要,小麦穗数是估产的重要数据,因此该研究通过构建普适麦穗计数网络（Wheat Ear Counting Network,WECnet）对灌浆期小麦进行精准的计数与密度预估。选用多个国家不同品种的麦穗图像进行训练,并且对数据集进行增强,以保证麦穗多样性。在原始人群计数网络CSRnet基础上,针对小麦图像特点构建WECnet网络。在网络前端,通过使用VGG19的前12层进行特征提取,同时与上下文语义特征进行融合,充分提取麦穗的特征信息。后端网络使用不同空洞率的卷积加大感受野,输出高质量的密度图。为了验证模型的可迁移性与普适性,该研究通过基于全球小麦数据集训练好的模型对无人机实拍的麦田图像进行计数。试验结果表明：在全球小麦数据集上,WECnet训练模型的决定系数、均方根误差（Root Mean Square Error,RMSE）与平均绝对误差（Mean Absolute Error,MAE）分别达到了0.95、6.1、4.78。在无人机拍摄图像计数中,决定系数达到0.886,整体错误率仅为0.23%,平均单幅小麦图像计数时间为32 ms,计数速度与精度均表现优异。结果表明,普适田间小麦计数模型WECnet可以对无人机获取图像中小麦的准确计数及密度预估提供数据参考。     

基于RGB-D的肉牛图像全卷积网络语义分割优化

基于卷积神经网络的深度学习模型已越来越多的应用于检测肉牛行为。利用卷积操作实现肉牛图像的像素级分割有助于实现远距离、无接触、自动化的检测肉牛行为,为肉牛异常行为早期发现提供必要手段。为了提高复杂背景下肉牛图像语义分割精度,降低上采样过程中的语义分割误差,该文提出基于RGB-D的肉牛图像全卷积网络(fully convolutionalnetworks,FCN)的语义分割优化方法,用深度密度值来量化深度图像中不同像素点是否属于相同类型的概率,并根据深度图像与彩色图像在内容上的互补关系,优化和提升FCN对肉牛图像的语义分割(像素密集预测)精度。通过试验验证,该方法与全卷积网络的最优分割结果相比,可以将统计像素准确率平均提高2.5%,类别平均准确率平均提升2.3%,平均区域重合度平均提升3.4%,频率加权区域重合度平均提升2.7%。试验证明,该方法可以提升全卷积网络模型在复杂背景下肉牛图像语义分割精度。     

基于改进K-means聚类算法的大田麦穗自动计数

单位种植面积的小麦麦穗数量是评估小麦产量和小麦种植密度的一个重要参量。为了实现高效、自动地麦穗计数,该文提出了基于改进K-means的小麦麦穗计数方法。该方法建立从图像低层颜色特征到图像中包含麦穗的一个直接分类关系,从而不需要再对图像进行分割或检测。以颜色特征聚类为基础的这种方法能够估计麦穗在空间局部区域中数量,并且在不需要训练的情况下更具有可扩展性。统计试验结果表明,该文算法能够适应不同光照环境,麦穗计数的准确率达到94.69%,超过了传统基于图像颜色特征和纹理特征分割的麦穗计数方法 93.1%的准确率。     

融合高光谱图像技术与MS-3DCNN的小麦种子品种识别模型

小麦品种的纯度和小麦产量密切相关,为了实现小麦种子品种的快速识别,该研究利用高光谱图像技术结合多尺度三维卷积神经网络（Multi-Scale 3D Convolutional Neural Network,MS-3DCNN）提出了一种小麦种子的品种识别模型。首先,利用连续投影算法（Successive Projections Algorithm,SPA）对原始高光谱图像进行波段选择,以减少MS-3DCNN模型的输入图像通道数量,降低网络训练参数规模;其次,利用多尺度三维卷积模块提取特征图的图像特征和不同特征图之间的耦合特征;最后,以6个品种小麦共6 000粒种子的高光谱图像（400～1 000 nm）为研究对象,基于SPA算法选择了22个波段高光谱数据,利用MS-3DCNN、支持向量机（Support Vector Machine,SVM）分别构建了识别模型。试验结果表明,MS-3DCNN模型取得了96.72%的测试集识别准确率,相较于光谱特征SVM识别模型和融合特征SVM识别模型分别提高了15.38%和9.50%。进一步比较了MS-3DCNN与基于二维卷积核、三维卷积核、多尺度二维卷积核构建的多个识别模型性能,结果表明多尺度三维卷积核能提取多种尺度的信息,其识别模型的准确率提高了1.34%～2.70%,可为小麦种子高光谱图像品种识别提供一种可行的技术途径。     

基于小麦群体图像的田间麦穗计数及产量预测方法

在田间小麦测产时,需人工获取田间单位面积内的麦穗数和穗粒数,耗时耗力。为了快速测量小麦田间单位面积内的产量,该文利用特定装置以田间麦穗倾斜的方式获取田间麦穗群体图像,通过转换图像颜色空间RGB→HSI,提取饱和度S分量图像,然后把饱和度S分量图像转换成二值图像,再经细窄部位粘连去除算法进行初步分割,再由边界和区域的特征参数判断出粘连的麦穗图像,并利用基于凹点检测匹配连线的方法实现粘连麦穗的分割,进而识别出图像中的麦穗数量;通过计算图像中每个麦穗的面积像素点数并由预测公式得到每个麦穗的籽粒数,进而计算出每幅图像上所有麦穗的预测籽粒数,然后计算出0.25 m2区域内对应的4幅图像上的预测籽粒数;同时根据籽粒千粒质量数据,计算得到该区域内的产量信息。该文在识别3个品种田间麦穗单幅图像中麦穗数量的平均识别精度为91.63%,籽粒数的平均预测精度为90.73%;对3个品种0.25 m2区域的小麦麦穗数量、总籽粒数及产量预测的平均精度为93.83%、93.43%、93.49%。运用该文方法可以实现小麦田间单位面积内的产量信息自动测量。     

基于卷积神经网络结合图像处理技术的荞麦病害识别

荞麦病害的发生极大地影响了荞麦的品质和产量,对病害的监测是确保荞麦产业健康发展的重要措施。该研究利用深度学习中卷积神经网络的多层特征提取方式,对荞麦病害的特征进行抽取,然后根据特征进行分类,最终实现对荞麦病害的判别。首先采用一种最大稳定极值区域(MSER,Maximally Stable Extremal Regions)和卷积神经网络(CNN,ConvolutionalNeuralNetwork)结合的方法对荞麦发病区域进行检测,实现了病害区域与非病害区域的分离,准确定位病灶位置;然后在传统卷积神经网络框架上,通过提升网络宽度,约束参数量,加入了两级inception结构,对成像环境复杂,低质量荞麦图像准确地进行特征抽取。同时,为了降低采样过程中光照的影响,采用基于余弦相似度的卷积代替传统的卷积运算,对于光照不均的荞麦叶片也能够进行较好的病害识别。最后,为了验证该研究所提方法的有效性,建立一个包含8种荞麦病害图像的数据集,结果表明采用MSER和CNN结合的区域检测与两级inception识别框架的方法,对于荞麦是否发病判别的精确率、召回率、以及精确率和召回率加权调和平均值分别达到了97.54%,96.38%,97.82%;对于具体病害的识别其均值为84.86%,85.78%,85.40%。该方法在识别精度和速度方面具有良好的性能,为实现荞麦病害的自动识别提供了重要的技术支持。     

基于垄间背景剔除优化小麦赤霉病遥感监测精度

为探究麦田垄间背景对无人机多光谱小麦赤霉病监测精度的影响,该研究以江苏省镇江市农科院灌浆期小麦为研究对象,利用大疆M600 Pro无人机搭载RedEdge-MX多光谱相机获取小麦冠层多光谱影像。通过筛选与小麦赤霉病相关性最高的植被指数（vegetation indexes,VIs）：MSR和CRI2植被指数,并采用大津法（Nobuyuki Otsu method,OTSU）、阈值分割法和支持向量机（support vector machine,SVM）等方法对小麦赤霉病遥感图像进行精细化语义分割,降低田块边缘阴影背景和染病麦穗之间的误判率。试验结果表明：目视解译阈值分割法剔除背景的效果最好（总体精度：92.06 %,Kappa系数：0.84）,OTSU阈值分割法（总体精度：90.52%,Kappa系数：0.81）效果次之。采用偏最小二乘回归分别建立小麦病情指数（disease index,DI）与VIs、纹理特征（texture features,TFs）和VIs&TFs小麦赤霉病监测模型,其中VIs&TFs模型监测精度最高,剔除垄间背景前预测模型训练集的决定系数（coefficient of determination,R2）为0.73,均方根误差（root mean square error,RMSE）为5.52,相对分析误差（relative percent deviation,RPD）为2.01,验证集的R2为0.68,RMSE为6.21,RPD为1.96;剔除垄间背景后VIs&TFs模型监测精度依然最高,训练集的R2为0.75,RMSE为5.58,RPD为2.13,验证集的R2为0.77,RMSE为7.13,RPD为2.11。综上所述,基于垄间背景特征的精细化语义分割有效地提高了小麦赤霉病的监测精度,可以直观地了解小麦病情分布情况,可对后续变量施药提供参考依据。     

基于改进全卷积网络的棉田冠层图像分割方法

针对传统的全卷积网络分割精度低、效果差等问题,该文提出一种结合条件随机场的改进全卷积网络棉田冠层图像分割方法。首先通过提取和学习图像特征对全卷积网络进行训练以优化其分割性能,得到初步分割结果和训练后的全卷积网络模型;接着将初步分割结果以像素和像素对应的分类向量形式输入到条件随机场中,同时结合像素间相对关系构建能量函数再进行训练,对初步分割结果进行优化得到训练后的条件随机场模型;进而通过验证过程对全卷积网络和条件随机场模型参数进一步调优,得到最优的全卷积网络和条件随机场;最后结合最优的全卷积网络和条件随机场实现棉田冠层图像分割并进行试验。试验结果表明:该方法的平均像素准确率为83.24%,平均交并比为71.02%,平均速度达到0.33 s/幅,与传统的全卷积网络分割性能相比分别提升了16.22和12.1个百分点,改进效果明显;与Zoom-out和CRFas RNN(conditional random fields as recurrent neural networks)分割方法进行对比,平均像素准确率分别提升了4.56和1.69个百分点,平均交并比分别提升了7.23和0.83个百分点;与逻辑回归方法和SVM(support vector machine)方法进行对比,平均像素准确率分别提升了3.29和4.01个百分点,平均交并比分别提升了2.69和3.55个百分点。该文方法在背景复杂、光照条件复杂等环境下可以准确分割出冠层目标区域,鲁棒性较好,可为棉花生长状态自动化监测提供参考。     

基于"残差-挤压激励"深度混合卷积网络的土地利用分类

土地利用变化的监测需要高精度的土地利用分类图，遥感技术的发展为这一工作提供了便利。然而，传统分类方法往往无法针对性的利用影像中的信息，其分类结果中地物边缘信息模糊，分类精度不高且噪声较大，难以满足土地变化监测的需要。该研究针对传统方法分类结果不理想的问题，提出一种基于"残差-挤压激励"单元的混合卷积神经网络模型，采用膨胀卷积层对影像进行"光谱-空间"特征提取，并引入"残差-挤压激励"单元，实现特征重用的同时，选择性的强调信息性特征，对噪声性特征进行抑制，最后对得到的特征进行整合实现对遥感影像的分类。该研究提出的模型与k-最邻近算法（K-Nearest Neighbor, KNN）、支持向量机（Support Vector Machine, SVM）、二维卷积网络（2D- Convolutional Neural Network, 2D-CNN）以及混合卷积网络（HybridSN）相比，在试验数据集上总体精度分别提高了11.15个百分点、11.18个百分点、0.06个百分点和2.46个百分点。且有效减少了地物边缘信息的损失，验证了该方法的有效性。此外，基于该方法分类结果统计出的耕地面积与试验区真实耕地面积仅相差0.77%，误差绝对值远低于其他分类方法。     

基于RGB和深度双模态的温室番茄图像语义分割模型

图像语义分割作为计算机视觉领域的重要技术,已经被广泛用于设施环境下的植物表型检测、机器人采摘、设施场景解析等领域。由于温室环境下未成熟番茄果实与其茎叶之间具有相似颜色,会导致图像分割精度不高等问题。本研究提出一种基于混合Transformer编码器的“RGB+深度”（RGBD）双模态语义分割模型DFST（depth-fusion semantic transformer）,试验在真实温室光照情况下获得深度图像,对深度图像做HHA编码并结合彩色图像输入模型进行训练,经过HHA编码的深度图像可以作为一种辅助模态与RGB图像进行融合并进行特征提取,利用轻量化的多层感知机解码器对特征图进行解码,最终实现图像分割。试验结果表明,DFST模型在测试集的平均交并比可达96.99%,对比不引入深度图像的模型,其平均交并比提高了1.37个百分点;对比使用卷积神经网络作为特征提取主干网络的RGBD语义分割模型,其平均交并比提高了2.43个百分点。结果证明,深度信息有助于提高彩色图像的语义分割精度,可以明显提高复杂场景语义分割的准确性和鲁棒性,同时也证明了Transformer结构作为特征提取网络在图像语义分割中也表现出了良好的性能,可为温室环境下的番茄图像语义分割任务提供解决方案和技术支持。     

基于深度卷积神经网络的番茄主要器官分类识别方法

为实现番茄不同器官的快速、准确检测,提出一种基于深度卷积神经网络的番茄主要器官分类识别方法。在VGGNet基础上,通过结构优化调整,构建了10种番茄器官分类网络模型,在番茄器官图像数据集上,应用多种数据增广技术对网络进行训练,测试结果表明各网络的分类错误率均低于6.392%。综合考虑分类性能和速度,优选出一种8层网络用于番茄主要器官特征提取与表达。用筛选出的8层网络作为基本结构,设计了一种番茄主要器官检测器,结合Selective Search算法生成番茄器官候选检测区域。通过对番茄植株图像进行检测识别,试验结果表明,该检测器对果、花、茎的检测平均精度分别为81.64%、84.48%和53.94%,能够同时对不同成熟度的果和不同花龄的花进行有效识别,且在检测速度和精度上优于R-CNN和Fast R-CNN。     

多尺度融合卷积神经网络的黄瓜病害叶片图像分割方法

黄瓜病害叶片中的病斑区域分割是病害检测与类型识别的关键步骤,分割效果将直接影响病害检测和识别的精度。针对传统方法对于黄瓜病害叶片图像分割精度低和泛化能力弱等问题,提出一种基于多尺度融合卷积神经网络(Multi-ScaleFusionConvolutionalNeuralNetworks,MSF-CNNs)的黄瓜病害叶片分割方法。MSF-CNNs由编码网络(EncoderNetworks,ENs)和解码网络(DecoderNetworks,DNs)两部分组成,其中ENs为一个多尺度卷积神经网络组成,用于提取病害叶片图像的多尺度信息;DNs基于九点双线性插值算法,用于恢复输入图像的尺寸和分辨率。在MSF-CNNs模型训练的过程中,使用一种渐进微调的迁移学习方法加速模型的训练,提高模型的分割精度。在复杂背景下的作物病害叶片图像数据库上进行病害叶片图像分割试验,并与现有的分割方法全卷积网络(FullyConvolutional Networks,FCNs)、Seg Net、U-Net、Dense Net进行比较。结果表明,该MSF-CNNs能够满足复杂环境下的黄瓜病害叶片图像分割需求,像素分类精度为92.38%、平均分割准确率为93.12%、平均交并比为91.36%、频率加权交并比为89.76%。与FCNs、Seg Net、U-Net、Dense Net相比较,MSF-CNNs的平均分割精度分别提高了13.00%、10.74%、10.40%、10.08%和6.40%。使用渐进学习训练方式后,训练时间缩短了0.9 h。该方法为进一步的黄瓜病害检测和识别方法研究提供了参考。     

基于病斑形状和神经网络的黄瓜病害识别

为了研究基于图像处理的黄瓜病害识别方法,试验中采集了黄瓜细菌性角斑病和黄瓜霜霉病叶片进行图像研究。在黄瓜病斑的图像分割方面,尝试了边缘检测法和最大类间方差法进行图像处理。边缘检测法提取出来的病态部位轮廓不是很完整,而利用最大类间方差法的图像分割效果较好。试验中提取了10个形状特征,选取黄瓜细菌性角斑病和黄瓜霜霉病叶片的各50个样本,其中每个病害的前30个样本,共计60个样本作为训练样本输入神经网络,对2种黄瓜病害叶片的后20个样本,共计40个样本进行测试,正确识别率达到了100%,说明通过病斑形状和神经网络进行黄瓜细菌性角斑病和黄瓜霜霉病的识别是可行的。