融合FPN的Faster R-CNN复杂背景下棉田杂草高效识别方法

为实现田间条件下快速、准确识别棉花与杂草，该文以自然光照下田间棉花与杂草为研究对象，采用垂直向下拍摄的方式获取棉花杂草视频，按1帧/s的速率从视频中提取图像，在人工去除冗余度过多的图片后，建立1 000幅图片的数据集。对比了Faster R-CNN和YOLOv3 2种典型卷积神经网络，将Faster R-CNN卷积神经网络的深度学习模型引入到棉花杂草图像识别中，并提出一种结构优化的方法，使之适用于复杂背景下的棉田杂草识别。该文选用残差卷积网络提取图像特征，Max-pooling 为下采样方法，RPN网络中引入特征金字塔网络生成目标候选框，对卷积神经网络结构进行优化。在使用700幅图片进行训练后，通过200 幅田间棉花杂草图像识别测试，结果表明：该方法的平均目标识别准确率达95.5%，识别单幅图像的平均耗时为1.51 s，采用GPU 硬件加速后识别单幅图像的平均耗时缩短为0.09 s。优化后的Faster R-CNN卷积神经网络相对于YOLOv3平均正确率MAP高0.3以上。特别是对于小目标对象，其平均正确率之差接近0.6。所提方法对复杂背景下棉花杂草有较好的检测效果，可为精确除草提供参考。     

人字形板式换热器流道传热特性及参数优化

为实现田间条件下快速、准确识别棉花与杂草，该文以自然光照下田间棉花与杂草为研究对象，采用垂直向下拍摄的方式获取棉花杂草视频，按1帧/s的速率从视频中提取图像，在人工去除冗余度过多的图片后，建立1 000幅图片的数据集。对比了Faster R-CNN和YOLOv3 2种典型卷积神经网络，将Faster R-CNN卷积神经网络的深度学习模型引入到棉花杂草图像识别中，并提出一种结构优化的方法，使之适用于复杂背景下的棉田杂草识别。该文选用残差卷积网络提取图像特征，Max-pooling 为下采样方法，RPN网络中引入特征金字塔网络生成目标候选框，对卷积神经网络结构进行优化。在使用700幅图片进行训练后，通过200 幅田间棉花杂草图像识别测试，结果表明：该方法的平均目标识别准确率达95.5%，识别单幅图像的平均耗时为1.51 s，采用GPU 硬件加速后识别单幅图像的平均耗时缩短为0.09 s。优化后的Faster R-CNN卷积神经网络相对于YOLOv3平均正确率MAP高0.3以上。特别是对于小目标对象，其平均正确率之差接近0.6。所提方法对复杂背景下棉花杂草有较好的检测效果，可为精确除草的发展提供参考。     

多通道深度可分离卷积模型实时识别复杂背景下甜菜与杂草

针对实际复杂田间环境下杂草与作物识别精度低和实时性差的问题,为减少弱光环境对分割识别效果的影响,实现甜菜与杂草的实时精确分割识别,该文首先将可见光图像进行对比度增强,再将近红外与可见光图像融合为4通道图像;将深度可分离卷积以及残差块构成分割识别模型的卷积层,减少模型参数量及计算量,构建编码与解码结构并融合底层特征,细化分割边界。以分割识别精度、参数量以及运行效率为评价指标,通过设置不同宽度系数以及输入图像分辨率选出最优模型。试验结果表明:本文模型的平均交并比达到87.58%,平均像素准确率为99.19%,帧频可达42.064帧/s,参数量仅为525 763,具有较高分割识别精度和较好实时性。该方法有效实现了甜菜与杂草的精确实时识别,可为后续机器人精确除草提供理论参考。     

基于图像显著性分析与卷积神经网络的茶园害虫定位与识别

为实现在茶园环境中快速、准确地识别害虫目标,该文提出了一种基于卷积神经网络的深度学习模型来进行害虫定位和识别的方法。该文通过对整个图像进行颜色衰减加速运算,结合超像素区域之间的空间影响,计算各个超区域的显著性值,进而提供害虫目标的潜在区域,最终结合Grab Cut算法进行害虫目标的定位和分割。对于分割后的害虫目标,通过优化后的卷积神经网络进行表达和分类,并进一步对卷积神经网络的结构进行了约减。通过对23种茶园主要害虫的识别,试验结果表明,识别准确率在优化前后分别为0.915和0.881,优化后的模型内存需求和运行耗时分别降低至6 MB和0.7 ms,取得了较好的识别效果。     

基于改进DenseNet的田间杂草识别

精确、快速地获取作物和杂草的类别信息是实现自动化除草作业的重要前提。为解决复杂环境下农作物田间杂草种类的高效准确识别问题，该研究提出一种基于改进DenseNet的杂草识别模型。首先，在DenseNet-121网络的基础上，通过在每个卷积层后引入ECA（Efficient Channel Attention）注意力机制，增加重要特征的权重，强化杂草特征并抑制背景特征；其次，通过DropBlock正则化随机隐藏杂草图像部分特征块，以提升模型的泛化能力，增强模型识别不同类型杂草的适应性；最后，以自然环境下玉米幼苗和6类伴生杂草作为样本，在相同试验条件下与VGG-16、ResNet-50和未改进的DenseNet-121模型进行对比试验。结果表明，改进的DenseNet模型性能最优，模型大小为26.55 MB，单张图像耗时0.23 s，平均识别准确率达到98.63%，较改进前模型的平均识别准确率提高了2.09%，且综合性能显著高于VGG-16、ResNet-50模型；同时，通过采用CAM（Class Activation Mapping）可视化热度图方法分析，得出改进前后模型的类别判断概率分别为0.68和0.98，本文模型明显高于未改进模型，进一步验证了改进模型的有效性。该模型能够很好地解决复杂环境下农作物和杂草的种类精准识别问题，为智能除草机器人开发奠定了坚实的技术基础。     

基于改进FCN-8s的灵武长枣图像分割方法

针对不同成熟度灵武长枣图像中多尺度长枣目标的分割问题,该研究提出了一种基于改进FCN-8s的灵武长枣图像分割方法。首先,建立包含不同成熟度灵武长枣图像的数据集。其次,提出一个多尺度特征提取模块,该模块以3×3卷积为主分支,增加1×1卷积和5×5深度可分离卷积作为辅助分支,以提取灵武长枣图像中的多尺度特征。然后,用多尺度特征提取模块替换FCN-8s中的3×3卷积,又对FCN-8s网络结构做了一定的改进,得到了改进FCN-8s。最后,在灵武长枣数据集上进行试验,结果表明,改进FCN-8s的枣类交并比、平均交并比、像素准确率、召回率和像素准确率、召回率的调和平均值F_1分数分别达到了93.50%、96.41%、98.44%、97.86%和98.15%,比原FCN-8s的各项评价指标分别高出了11.31、6.20、1.51、5.21和3.14个百分点。网络参数量为5.37×106,分割速度为16.20帧/s。改进FCN-8s满足了灵武长枣智能化采摘机器人对视觉识别系统的要求,为实现灵武长枣的智能化采摘提供了技术支持。     

玉米苗期杂草的计算机识别技术研究

利用计算机视觉技术和人工神经网络技术对识别玉米苗期田间杂草进行了研究。首先利用类间方差最大自动阈值法二值化杂草图像的超绿特征，再进行连续腐蚀与膨胀，然后根据长宽比、圆度、第一不变矩3个形状特征由BP网络识别出玉米幼苗，最后利用种子填充法从阈值分割结果中擦除玉米目标，剩余的就是杂草目标。研究表明，基于BP网络的杂草识别算法对玉米幼苗与杂草的正确识别率分别为87.5%和93.0%，处理一幅640×480像素的杂草图像平均耗时约为58 ms。     

基于双注意力语义分割网络的田间苗期玉米识别与分割

为实现复杂田间场景中幼苗期玉米和杂草的准确识别与区域划分,该研究提出改进的双注意力语义分割方法,通过获取形态边界实现玉米幼苗的识别与精细分割,在此基础上采用形态学处理方法识别图像中除玉米外的全部杂草区域。首先对6种当前最高性能的语义分割网络进行对比,确定模型原始架构;建立幼苗期玉米语义分割模型,包括改进深层主干网络增强特征,引入双注意力机制构建特征的场景语义依赖关系,以编码器-解码器结构组建模型并增加辅助网络优化底层特征,改进损失函数协调模型整体表现,制定改进的迁移学习策略;提出图像形态学处理方法,基于玉米像素分割结果,生成杂草分割图。测试结果表明,模型的平均交并比、平均像素识别准确率分别为94.16%和95.68%,相比于原网络分别提高1.47%和1.08%,识别分割速度可达15.9帧/s。该研究方法能够对复杂田间场景中的玉米和杂草进行准确识别与精细分割,在仅识别玉米的前提下识别杂草,有效减少图像标注量,避免田间杂草种类的多样性对识别精度的影响,解决玉米与杂草目标交叠在形态边界上难以分割的问题,研究结果可为智能除草装备提供参考。     

基于语义分割的非结构化田间道路场景识别

环境信息感知是智能农业装备系统自主导航作业的关键技术之一。农业田间道路复杂多变，快速准确地识别可通行区域，辨析障碍物类别，可为农业装备系统高效安全地进行路径规划和决策控制提供依据。该研究以非结构化农业田间道路场景为研究对象，根据环境对象动、静态属性进行类别划分，提出一种基于通道注意力结合多尺度特征融合的轻量化语义分割模型。首先采用Mobilenet V2轻量卷积神经网络提取图像特征，将混合扩张卷积融入特征提取网络最后2个阶段，在保证特征图分辨率的基础上增加感受野并保持信息的连续性与完整性；然后引入通道注意力模块对特征提取网络各阶段特征通道依据重要程度重新标定；最后通过空间金字塔池化模块将多尺度池化特征进行融合，获取更加有效的全局场景上下文信息，增强对复杂道路场景识别的准确性。语义分割试验表明，不同道路环境下本文模型可以对场景对象进行有效识别解析，像素准确率和平均像素准确率分别为94.85%、90.38%，具有准确率高、鲁棒性强的特点。基于相同测试集将本文模型与FCN-8S、SegNet、DeeplabV3+、BiseNet模型进行对比试验，本文模型的平均区域重合度为85.51%，检测速度达到8.19帧/s，参数数量为，相比于其他模型具有准确性高、推理速度快、参数量小等优点，能够较好地实现精度与速度的均衡。研究成果可为智能农业装备在非结构化道路环境下安全可靠运行提供技术参考。     

基于RGB-D的肉牛图像全卷积网络语义分割优化

基于卷积神经网络的深度学习模型已越来越多的应用于检测肉牛行为。利用卷积操作实现肉牛图像的像素级分割有助于实现远距离、无接触、自动化的检测肉牛行为,为肉牛异常行为早期发现提供必要手段。为了提高复杂背景下肉牛图像语义分割精度,降低上采样过程中的语义分割误差,该文提出基于RGB-D的肉牛图像全卷积网络(fully convolutionalnetworks,FCN)的语义分割优化方法,用深度密度值来量化深度图像中不同像素点是否属于相同类型的概率,并根据深度图像与彩色图像在内容上的互补关系,优化和提升FCN对肉牛图像的语义分割(像素密集预测)精度。通过试验验证,该方法与全卷积网络的最优分割结果相比,可以将统计像素准确率平均提高2.5%,类别平均准确率平均提升2.3%,平均区域重合度平均提升3.4%,频率加权区域重合度平均提升2.7%。试验证明,该方法可以提升全卷积网络模型在复杂背景下肉牛图像语义分割精度。     

基于改进全卷积网络的棉田冠层图像分割方法

针对传统的全卷积网络分割精度低、效果差等问题,该文提出一种结合条件随机场的改进全卷积网络棉田冠层图像分割方法。首先通过提取和学习图像特征对全卷积网络进行训练以优化其分割性能,得到初步分割结果和训练后的全卷积网络模型;接着将初步分割结果以像素和像素对应的分类向量形式输入到条件随机场中,同时结合像素间相对关系构建能量函数再进行训练,对初步分割结果进行优化得到训练后的条件随机场模型;进而通过验证过程对全卷积网络和条件随机场模型参数进一步调优,得到最优的全卷积网络和条件随机场;最后结合最优的全卷积网络和条件随机场实现棉田冠层图像分割并进行试验。试验结果表明:该方法的平均像素准确率为83.24%,平均交并比为71.02%,平均速度达到0.33 s/幅,与传统的全卷积网络分割性能相比分别提升了16.22和12.1个百分点,改进效果明显;与Zoom-out和CRFas RNN(conditional random fields as recurrent neural networks)分割方法进行对比,平均像素准确率分别提升了4.56和1.69个百分点,平均交并比分别提升了7.23和0.83个百分点;与逻辑回归方法和SVM(support vector machine)方法进行对比,平均像素准确率分别提升了3.29和4.01个百分点,平均交并比分别提升了2.69和3.55个百分点。该文方法在背景复杂、光照条件复杂等环境下可以准确分割出冠层目标区域,鲁棒性较好,可为棉花生长状态自动化监测提供参考。     

利用融合高度与单目图像特征的支持向量机模型识别杂草

除草是保证农作物高产的必要工作。针对机械化除草和智能喷药中存在的杂草识别问题,以2~5叶苗期玉米及杂草为研究对象,进行了融合高度特征与单目图像特征的杂草识别方法研究。首先从单目图像中提取16个形态特征和2个纹理特征;然后基于双目图像,提出了针对植株的高度特征提取方法,所得高度特征与实际测量值间误差在±12 mm以内;利用max-min ant system算法对形态特征进行优化选择,将形态特征减少到6个,有效减少数据量62.5%,并与纹理和高度特征进行融合;将2~5叶玉米幼苗的可除草期划分为3个阶段,分别构建融合高度特征与单目图像特征的SVM识别模型,并与相应不含高度特征模型进行对比。经测试,3个阶段模型的识别准确率分别为96.67%,100%,98.33%;平均识别准确率达98.33%。不含高度特征模型的识别准确率分别为93.33%,91.67%,95%;平均识别准确率为93.33%。结果表明,融合高度特征与单目图像特征的SVM识别模型优于不含高度特征模型,平均识别准确率提高了5百分点。该方法实现了高准确率的杂草识别,研究结果为农业精确除草的发展提供参考。     

基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络（Shifted Window Transformer,Swin Transformer）的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入Swin Transformer主干并采用统一感知解析网络作为其高效语义分割框架;改进Swin Transformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51′10-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。     

自然光照条件下采摘机器人果实识别的表面阴影去除方法

有效的阴影检测和去除算法会大大提高自然环境下果实识别算法的性能,为农业智能化提供技术支持。该研究采用超像素分割的方法,将一张图像分割成多个小区域,在对图像进行超像素分割的基础上,对自然光照下的果园图像阴影区域与非阴影区域进行对比分析,探索8个自定义特征用于阴影检测。然后采用SVM的方法,结合8个自主探索的自定义特征,对图像中每个超像素分割的小区域进行检测,判断每个小区域是否处于阴影中,再使用交叉验证方法进行参数优化。根据Finlayson的二维积分算法策略,对检测的每一个阴影区域进行阴影去除,获得去除阴影后的自然光照图像。最后进行阴影检测的识别准确性试验,试验结果表明,本研究的阴影检测算法的平均识别准确率为83.16%,经过阴影去除后,图像的阴影区域亮度得到了提高,并且整幅图像的亮度更为均匀。该研究可为自然环境下机器人识别果实及其他工农业应用场景提供技术支持。     

改进Niblack算法的光照不均匀QR码识别研究

QR码作为农产品可追溯体系的信息载体,一直是农业领域的科研热点。在实际应用中,溯源环境的复杂多变易使设备采集到光照不均匀的QR码图像而增加解码流程中二值化的难度,影响后续解码。该文针对原始Niblack算法自适应性不足的缺陷,提出一种自适应邻域窗口和修正系数的Niblack算法,该算法依据QR码图像的分辨率和灰度值,动态调整修正系数和邻域窗口,进行自适应二值化处理。分别用改进Niblack算法,原始Niblack算法和Otsu算法处理设备无法识别的不同光照环境下、不同程度的光照不均匀QR码图像,试验数据表明经改进算法处理后的识别成功率为74.2%,高出原始Niblack算法18.4%,高出Otsu算法71.7%,具有较高的鲁棒性。这一结果对农产品在各种光照不均匀环境中的溯源提供了参考。     

多尺度融合卷积神经网络的黄瓜病害叶片图像分割方法

黄瓜病害叶片中的病斑区域分割是病害检测与类型识别的关键步骤,分割效果将直接影响病害检测和识别的精度。针对传统方法对于黄瓜病害叶片图像分割精度低和泛化能力弱等问题,提出一种基于多尺度融合卷积神经网络(Multi-ScaleFusionConvolutionalNeuralNetworks,MSF-CNNs)的黄瓜病害叶片分割方法。MSF-CNNs由编码网络(EncoderNetworks,ENs)和解码网络(DecoderNetworks,DNs)两部分组成,其中ENs为一个多尺度卷积神经网络组成,用于提取病害叶片图像的多尺度信息;DNs基于九点双线性插值算法,用于恢复输入图像的尺寸和分辨率。在MSF-CNNs模型训练的过程中,使用一种渐进微调的迁移学习方法加速模型的训练,提高模型的分割精度。在复杂背景下的作物病害叶片图像数据库上进行病害叶片图像分割试验,并与现有的分割方法全卷积网络(FullyConvolutional Networks,FCNs)、Seg Net、U-Net、Dense Net进行比较。结果表明,该MSF-CNNs能够满足复杂环境下的黄瓜病害叶片图像分割需求,像素分类精度为92.38%、平均分割准确率为93.12%、平均交并比为91.36%、频率加权交并比为89.76%。与FCNs、Seg Net、U-Net、Dense Net相比较,MSF-CNNs的平均分割精度分别提高了13.00%、10.74%、10.40%、10.08%和6.40%。使用渐进学习训练方式后,训练时间缩短了0.9 h。该方法为进一步的黄瓜病害检测和识别方法研究提供了参考。     

基于卷积神经网络的温室黄瓜病害识别系统

基于图像处理和深度学习技术,该研究构建了一个基于卷积神经网络的温室黄瓜病害识别系统。针对温室现场采集的黄瓜病害图像中含有较多光照不均匀和复杂背景等噪声的情况,采用了一种复合颜色特征(combinations of color features,CCF)及其检测方法,通过将该颜色特征与传统区域生长算法结合,实现了温室黄瓜病斑图像的准确分割。基于温室黄瓜病斑图像,构建了温室黄瓜病害识别分类器的输入数据集,并采用数据增强方法将输入数据集的数据量扩充了12倍。基于扩充后的数据集,构建了基于卷积神经网络的病害识别分类器并利用梯度下降算法进行模型训练、验证与测试。系统试验结果表明,针对含有光照不均匀和复杂背景等噪声的黄瓜病害图像,该系统能够快速、准确的实现温室黄瓜病斑图像分割,分割准确率为97.29%;基于分割后的温室黄瓜病斑图像,该系统能够实现准确的病害识别,识别准确率为95.7%,其中,霜霉病识别准确率为93.1%,白粉病识别准确率为98.4%。     

基于卷积神经网络的田间多簇猕猴桃图像识别方法

为实现田间条件下快速、准确地识别多簇猕猴桃果实,该文根据猕猴桃的棚架式栽培模式,采用竖直向上获取果实图像的拍摄方式,提出一种基于Le Net卷积神经网络的深度学习模型进行多簇猕猴桃果实图像的识别方法。该文构建的卷积神经网络通过批量归一化方法,以Re LU为激活函数,Max-pooling为下采样方法,并采用Softmax回归分类器,对卷积神经网络结构进行优化。通过对100幅田间多簇猕猴桃图像的识别,试验结果表明:该识别方法对遮挡果实、重叠果实、相邻果实和独立果实的识别率分别为78.97%、83.11%、91.01%和94.78%。通过与5种现有算法进行对比试验,该文算法相对相同环境下的识别方法提高了5.73个百分点,且识别速度达到了0.27 s/个,识别速度较其他算法速度最快。证明了该文算法对田间猕猴桃图像具有较高的识别率和实时性,表明卷积神经网络在田间果实识别方面具有良好的应用前景。