基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络(Shifted Window Transformer,Swin Transformer)的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入SwinTransformer主干并采用统一感知解析网络作为其高效语义分割框架;改进SwinTransformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51×10^-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。     

基于K-means和近邻回归算法的Kinect植株深度图像修复

针对Kinect传感器应用于农业植株检测产生的图像噪声问题,特别是由光线以及传感器自身局限导致的匹配图像目标植株数据的缺失,提出一种基于K-means和近邻回归算法的植株深度检测图像修复方法。首先对Kinect传感器获取的彩色RGB图像进行阈值分割预处理提取植株目标区域,再利用K-means聚类算法去除背景噪声,使得植株目标区域轮廓更加清晰;然后基于配准的彩色图像和深度图像,对获取的深度图像中可疑像素点的深度数据采取近邻回归算法进行修复,再将修复后的深度图像与目标分割后的彩色图像进行植株区域的匹配,并进行二次近邻回归算法修正错误的深度数据,最后获取目标植株深度信息的检测图像。试验结果证明,采用RGB阈值分割和K-means聚类算法植株目标区域分割误差均值为12.33%,比单一RGB阈值分割和K-means聚类分割误差降低了12.12和41.48个百分点;同时结合聚类后的彩色图像对深度数据进行两次近邻回归算法修复深度数据,能够提高深度数据边缘的清晰度,单帧深度数据空洞点进行修复数据的准确度提高。该研究结果可为农业植株检测、植株三维重构、精准对靶喷雾等提供参考。     

基于RGB-D的肉牛图像全卷积网络语义分割优化

基于卷积神经网络的深度学习模型已越来越多的应用于检测肉牛行为。利用卷积操作实现肉牛图像的像素级分割有助于实现远距离、无接触、自动化的检测肉牛行为,为肉牛异常行为早期发现提供必要手段。为了提高复杂背景下肉牛图像语义分割精度,降低上采样过程中的语义分割误差,该文提出基于RGB-D的肉牛图像全卷积网络(fully convolutionalnetworks,FCN)的语义分割优化方法,用深度密度值来量化深度图像中不同像素点是否属于相同类型的概率,并根据深度图像与彩色图像在内容上的互补关系,优化和提升FCN对肉牛图像的语义分割(像素密集预测)精度。通过试验验证,该方法与全卷积网络的最优分割结果相比,可以将统计像素准确率平均提高2.5%,类别平均准确率平均提升2.3%,平均区域重合度平均提升3.4%,频率加权区域重合度平均提升2.7%。试验证明,该方法可以提升全卷积网络模型在复杂背景下肉牛图像语义分割精度。     

基于分组注意力模块的实时农作物病害叶片语义分割模型

针对传统农作物病害识别方法准确率低、鲁棒性差等问题,该研究首先提出一种基于分组激活策略的分组注意力模块,利用高阶特征指导加强低阶特征,通过分组计算组内加强系数,减少不同组之间的抑制作用,加强特征表达能力。对比试验表明,分组注意力模块特征强化效果优于传统注意力模块。基于分组注意力模块,该研究提出一种实时高效农作物病害叶片语义分割模型,该模型融合了编码-解码语义分割模型和多流语义分割模型的优点。采用ResNet18模型作为特征提取网络对农作物病害叶片的语义分割像素精度达到93.9%,平均交并比达到78.6%。在单张NVIDIA GTX1080Ti显卡的硬件环境下,输入分辨率为900×600像素的图片,该模型运行速度达到每秒130.1帧,满足实时农作物病害叶片语义分割需求,为现代农业病害识别、自动施肥和精准灌溉等应用提供参考。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。     

基于语义分割和几何分析的火龙果果实与枝条的三维重建

针对非结构化环境中采摘机器人缺少足够环境信息的问题,该研究提出了一种用于机器臂避障和路径规划的果实与枝条检测和三维重建方法。采用MobileNetV2取代传统DeepLabV3+主干特征提取网络Xception,并在特征提取模块引入了坐标注意力机制,通过改进网络对采集的RGB图像进行目标检测,并将检测到的火龙果和枝条语义掩膜转换成三维点云。提出一种基于非线性最小二乘法的椭球体拟合方法用于重建火龙果,用有限数量的AABB包围盒获取不规则的枝条的三维空间位姿信息。测试表明,改进后模型的平均交并比（mean intersection over union,mIoU）和平均像素精度（mean pixel accuracy,mPA）分别达到95.59%、98.01%,相较原模型分别提升2.57个百分点和1.44个百分点;平均推理时间和模型内存占用量分别降至94.74ms和22.52MB,分别仅为原模型的59%和11%。三维重建试验表明,火龙果果实重建的短轴尺寸和深度距离的平均绝对误差分别为0.44和2.04mm,枝条重建的样本标准差在各坐标轴上均小于10mm。结果证实了该研究方法可以有效地重建火龙果果实和枝条,可以为火龙果采摘机器人的采摘路径规划避障提供基础。     

改进Mask R-CNN的真实环境下鱼体语义分割

鱼体语义分割是实现鱼体三维建模和语义点云、计算鱼体生长信息的基础。为了提高复杂环境下鱼体语义分割精度,该研究提出了SA-Mask R-CNN模型,即融合SimAM注意力机制的Mask R-CNN。在残差网络的每一层引入注意力机制,利用能量函数为每一个神经元分配三维权重,以加强对鱼体关键特征的提取;使用二次迁移学习方法对模型进行训练,即首先利用COCO数据集预训练模型在Open Images DatasetV6鱼类图像数据集完成第一次迁移学习,然后在自建数据集上完成第二次迁移学习,利用具有相似特征空间的2个数据集进行迁移学习,在一定程度上缓解了图像质量不佳的情况下鱼体语义分割精度不高的问题。在具有真实养殖环境特点的自建数据集上进行性能测试,结果表明,SA-Mask R-CNN网络结合二次迁移学习方法的交并比达93.82%,综合评价指标达96.04%,分割效果优于SegNet和U-Net++,较引入SENet和CBAM注意力模块的Mask R-CNN交并比分别提升了1.79个百分点和0.33个百分点,综合评价指标分别提升了2.03个百分点和0.38个百分点,模型参数量分别减小了4.7和5MB。研究结果可为鱼体点云计算提供参考。     

基于改进全卷积网络的棉田冠层图像分割方法

针对传统的全卷积网络分割精度低、效果差等问题,该文提出一种结合条件随机场的改进全卷积网络棉田冠层图像分割方法。首先通过提取和学习图像特征对全卷积网络进行训练以优化其分割性能,得到初步分割结果和训练后的全卷积网络模型;接着将初步分割结果以像素和像素对应的分类向量形式输入到条件随机场中,同时结合像素间相对关系构建能量函数再进行训练,对初步分割结果进行优化得到训练后的条件随机场模型;进而通过验证过程对全卷积网络和条件随机场模型参数进一步调优,得到最优的全卷积网络和条件随机场;最后结合最优的全卷积网络和条件随机场实现棉田冠层图像分割并进行试验。试验结果表明:该方法的平均像素准确率为83.24%,平均交并比为71.02%,平均速度达到0.33 s/幅,与传统的全卷积网络分割性能相比分别提升了16.22和12.1个百分点,改进效果明显;与Zoom-out和CRFas RNN(conditional random fields as recurrent neural networks)分割方法进行对比,平均像素准确率分别提升了4.56和1.69个百分点,平均交并比分别提升了7.23和0.83个百分点;与逻辑回归方法和SVM(support vector machine)方法进行对比,平均像素准确率分别提升了3.29和4.01个百分点,平均交并比分别提升了2.69和3.55个百分点。该文方法在背景复杂、光照条件复杂等环境下可以准确分割出冠层目标区域,鲁棒性较好,可为棉花生长状态自动化监测提供参考。     

基于阵列式ESP32-CAM的番茄根系表型原位测量方法

为原位采集番茄根系图像，解决番茄根系表型原位测量问题，该研究提出一种基于阵列式ESP32-CAM的番茄根系表型原位测量方法。通过4×4阵列式ESP32-CAM结合OV2640镜头模组实现土壤中根系图像原位自动化无线采集，并采用张正友标定法实现相机标定和畸变校正，利用尺度不变特征转换和最邻近分类的特征检测匹配算法实现图像配准，基于离线标定方法获取相机间变换矩阵实现根系图像拼接；通过引入多头自注意力机制改进U型卷积神经网络（Uarchitecture convolutional networks,U-Net）模型对根系图像进行语义分割，采用形态学处理和骨架提取测量根系长度、面积、平均直径、根深和根宽。研究结果表明：相机阵列图像的拼接迭代均方根误差小于1.11 mm，全局拼接图像的拼接融合质量评分大于0.85；改进后的U-Net模型应用于番茄根系分割的精度、召回率、交并比和F1值分别为86.06%、78.98%、71.41%和82.37%，相比于原始U-Net模型分别提高了18.97、13.21、21.67和16.30个百分点；与人工测量值相比，根系的面积、长度、平均直径、根深和根宽的平均绝...     

基于双注意力语义分割网络的田间苗期玉米识别与分割

为实现复杂田间场景中幼苗期玉米和杂草的准确识别与区域划分,该研究提出改进的双注意力语义分割方法,通过获取形态边界实现玉米幼苗的识别与精细分割,在此基础上采用形态学处理方法识别图像中除玉米外的全部杂草区域。首先对6种当前最高性能的语义分割网络进行对比,确定模型原始架构;建立幼苗期玉米语义分割模型,包括改进深层主干网络增强特征,引入双注意力机制构建特征的场景语义依赖关系,以编码器-解码器结构组建模型并增加辅助网络优化底层特征,改进损失函数协调模型整体表现,制定改进的迁移学习策略;提出图像形态学处理方法,基于玉米像素分割结果,生成杂草分割图。测试结果表明,模型的平均交并比、平均像素识别准确率分别为94.16%和95.68%,相比于原网络分别提高1.47%和1.08%,识别分割速度可达15.9帧/s。该研究方法能够对复杂田间场景中的玉米和杂草进行准确识别与精细分割,在仅识别玉米的前提下识别杂草,有效减少图像标注量,避免田间杂草种类的多样性对识别精度的影响,解决玉米与杂草目标交叠在形态边界上难以分割的问题,研究结果可为智能除草装备提供参考。     

构建VED-SegNet分割模型提取鱼类表型比例

为提高鱼类表型分割精度和准确度,实现鱼类表型智能监测,该研究基于深度学习算法构建了VED-SegNet模型用于鱼类表型分割和测量。该模型将cross stage partial network和GSConv结合作为编码器（VoV-GSCSP）,保持足够精度的同时降低网络结构复杂性。另一方面,该模型采用EMA(efficient multi-scale attention module with cross-spatial learning)建立强化结构,加强编码器和解码器之间的信息传递,提高模型精度,并实现了8个表型类别的输出。采用自建的鱼类表型分割数据集对VED-SegNet模型进行了测试,测量结果中鱼类各表型比例与实际测量值相接近,表型最大平均绝对和平均相对误差为0.39%、11.28%,能实现无接触式提取水产养殖中鱼类表型比例。对比其他常见语义分割模型,平均交并比mean intersection over union,mIoU和平均像素准确率mean pixel accuracy,m PA最高,分别到达了87.92%、92.83%。VED-SegNet模型在环境复杂、多鱼重叠的...     

基于通道特征金字塔的田间葡萄实时语义分割方法

复杂环境下葡萄的快速检测识别是智能采摘的关键步骤,为解决目前葡萄识别精度低和实时性差的问题,该研究提出一种轻量级葡萄实时语义分割模型（Grape Real-time Semantic Segmentation Model,GRSM）。首先,利用通道特征金字塔（Channel-wise Feature Pyramid,CFP）模块进行特征提取,该模块通过1?3和3?1空洞卷积的跳跃连接,在减少模型参数量的同时提取葡萄图像的多尺度特征和上下文信息;然后,采用池化卷积融合结构完成下采样,增加可训练参数以减少信息损失;最后,利用跳跃连接融合多种特征恢复图像细节。试验结果表明：该研究所提出的模型在田间葡萄测试集上达到了78.8%的平均交并比,平均像素准确率为90.3%,处理速度达到68.56帧/s,网络结构大小仅为4.88MB。该模型具有较高分割识别精度和较好实时性,能满足葡萄采摘机器人对视觉识别系统的要求,为葡萄的智能化采摘提供了理论基础。     

基于多路卷积神经网络的大田小麦赤霉病图像识别

为了准确地识别小麦病害,及时采取防治措施,减少农药施用的成本,同时减少农业生态环境的污染,该研究以灌浆期感染赤霉病的小麦麦穗图像为研究对象,根据病变区域与健康区域的颜色分布特点,设计了一种多路卷积神经网络用于小麦赤霉病图像的识别。首先利用深度语义分割网络U-Net对大田环境下的小麦图像进行分割,去除小麦叶片及其他无关背景的影响,从而分割出麦穗图像。然后设计结构较为简单的多路卷积神经网络分别提取麦穗图像R、G、B 3个通道的特征,通过特征融合获得具有高辨识性的麦穗图像语义特征。最后,为了增大赤霉病和健康麦穗图像特征之间的可区分性,同时减小赤霉病麦穗图像类内特征的差异,采用联合损失函数进一步改善网络的性能。该研究对采集的大田环境下的510幅灌浆期小麦群体图像进行分割,选取2 745幅完整单株麦穗图像利用所设计的多路卷积神经网络进行赤霉病识别试验,结果表明该研究所提算法对单株麦穗赤霉病识别精度达到100%,能够为小麦病害的智能识别提供帮助。     

基于深度掩码的玉米植株图像分割模型

随着深度学习技术在植物表型检测领域的应用,有监督深度学习逐渐成为植物表型信息的提取与分析的主要方法。但由于植物结构复杂、细节特征多,人工标注的成本和质量问题已成为制约技术发展的瓶颈。该研究针对玉米苗期植株图像分割问题提出一种基于深度掩码的卷积神经网络（Depth Mask Convolutional Neural Network,DM-CNN）,将深度图像自动转换深度掩码图像,并替代人工标注样本完成图像分割网络训练。试验结果表明,在相同的网络训练参数下,通过测试DM-CNN得到的平均交并比为59.13%,平均召回率为65.78%,均优于人工标注样本对应的分割结果（平均交并比为58.49%,平均召回率为64.85%）;此外,在训练样本中加入10%室外玉米苗期图像后,DM-CNN对室外测试集的平均像素精度可以达到84.54%,证明DM-CNN具有良好的泛化能力。该研究可为高通量、高精度的玉米苗期表型信息获取提供低成本解决方案及技术支持。     

基于稠密自编码器的无监督番茄植株图像深度估计模型

深度信息获取是温室移动机器人实现自主作业的关键。该研究提出一种基于稠密卷积自编码器的无监督植株图像深度估计模型。针对因视角差异和遮挡而产生的像素消失问题,引入视差置信度预测,抑制图像重构损失产生的问题梯度,设计了基于可分卷积的稠密自编码器作为模型的深度神经网络。以深度估计误差、阈值精度等为判据,在番茄植株双目图像上开展训练和测试试验,结果表明,抑制问题梯度回传可显著提高深度估计精度,与问题梯度抑制前相比,估计深度的平均绝对误差和均方根误差分别降低了55.2%和33.0%,将网络预测的多尺度视差图接入编码器并将其上采样到输入图像尺寸后参与图像重构和损失计算的处理方式对提高预测精度是有效的,2种误差进一步降低了23.7%和27.5%;深度估计误差随空间点深度的减小而显著降低,当深度在9 m以内时,估计深度的平均绝对误差14.1 cm,在3 m以内时,则7 cm。与已有研究相比,该研究估计深度的平均相对误差和平均绝对误差分别降低了46.0%和26.0%。该研究可为温室移动机器人视觉系统设计提供参考。     

基于SegNet语义模型的高分辨率遥感影像农村建设用地提取

针对传统分类算法、浅层学习算法不适用于高空间分辨率遥感影像中农村建筑物信息提取的问题,该文以河北省霸州市高空间分辨率遥感影像WorldView-2为数据源,利用182 064幅128×128像素大小的影像切片为训练样本,选取基于深度卷积神经网络的SegNet图像语义分割算法对遥感影像中的农村建筑物进行提取,并与传统分类算法中的最大似然法(maximum likelihood,ML)和ISO聚类、浅层学习算法中的支持向量机(support vector machine,SVM)和随机森林(random forest,RF)以及深层语义分割算法中的金字塔场景解析网络(pyramid scene parsing network,PSPNet)的试验结果作对比分析。研究结果表明:SegNet不仅能够高效利用高空间分辨率遥感影像中农村建筑物的光谱信息而且还能够充分利用其丰富的空间特征信息,最终形成较好的分类模型,该算法在验证样本中的分类总体精度为96.61%,Kappa系数为0.90,建筑物的F1值为0.91,其余5种分类算法的总体精度、Kappa系数、建筑物的F1值都分别在94.68%、0.83、0.87以下。该研究可以为高空间分辨率遥感影像农村建设用地提取研究提供参考。     

多尺度融合卷积神经网络的黄瓜病害叶片图像分割方法

黄瓜病害叶片中的病斑区域分割是病害检测与类型识别的关键步骤,分割效果将直接影响病害检测和识别的精度。针对传统方法对于黄瓜病害叶片图像分割精度低和泛化能力弱等问题,提出一种基于多尺度融合卷积神经网络(Multi-ScaleFusionConvolutionalNeuralNetworks,MSF-CNNs)的黄瓜病害叶片分割方法。MSF-CNNs由编码网络(EncoderNetworks,ENs)和解码网络(DecoderNetworks,DNs)两部分组成,其中ENs为一个多尺度卷积神经网络组成,用于提取病害叶片图像的多尺度信息;DNs基于九点双线性插值算法,用于恢复输入图像的尺寸和分辨率。在MSF-CNNs模型训练的过程中,使用一种渐进微调的迁移学习方法加速模型的训练,提高模型的分割精度。在复杂背景下的作物病害叶片图像数据库上进行病害叶片图像分割试验,并与现有的分割方法全卷积网络(FullyConvolutional Networks,FCNs)、Seg Net、U-Net、Dense Net进行比较。结果表明,该MSF-CNNs能够满足复杂环境下的黄瓜病害叶片图像分割需求,像素分类精度为92.38%、平均分割准确率为93.12%、平均交并比为91.36%、频率加权交并比为89.76%。与FCNs、Seg Net、U-Net、Dense Net相比较,MSF-CNNs的平均分割精度分别提高了13.00%、10.74%、10.40%、10.08%和6.40%。使用渐进学习训练方式后,训练时间缩短了0.9 h。该方法为进一步的黄瓜病害检测和识别方法研究提供了参考。