基于改进空间-协调注意力UNet的多作物分类提取

为弥补目前多作物分类提取精细化程度不高的问题，探究不同尺度数据集对网络精度的影响，该研究对协调注意力进行改进，并将此模块加入到UNet网络中，以验证改进后的空间-协调注意力UNet(spatial-coordinate attention UNet,SPCA-UNet)的合理性与有效性。结果表明：以1 500×1 500像素分辨率数据为输入的网络提取精度最高，UNet和DeepLab v3+网络模型对尺度信息不敏感；在注意力比较试验中，改进的空间-协调注意力的平均交并比、平均像素精度、平均精准率、平均召回率均优于SENet(squeeze-and-excitation networks)、CBAM(convolutional block attention module)、ECA(efficient channel attention)和CA(coordinate attention)模块，平均交并比达到了92.20%，平均像素精度达到95.97%，比CA模块的平均交并比和平均像素精度分别高出1.16和0.76个百分点。改进的空间-协调注意力可以很好地保持作物边界信息，由于其较强的规范...     

地块尺度的山区耕地精准提取方法

山地丘陵区域耕地资源稀缺,耕地碎片化现象严重,耕地地块细小狭窄且结构复杂,导致了地块级别的耕地信息难以快速、精准获取,阻碍了基于高分辨率遥感影像的精准数字农业服务在山地丘陵地区的应用。现有基于边缘检测/语义分割的耕地提取方法忽略了地块的结构化特征,对于狭长地块提取效果不佳,存在边界模糊问题。针对上述问题,该研究以西南山区湖南省邵东县为研究区,提出一种面向地块尺度的山区耕地遥感影像高精度提取方法。该研究模型主要有以下特征：1）将耕地边缘作为独立于耕地地块外的新类别,使得语义分割能够更好地区分耕地地块边缘和内部区域;2）级联语义分割网络和边缘检测网络,实现耕地边缘线特征和面特征的融合,使耕地边缘特征强化,提高耕地地块边缘检测精度;3）针对高分影像中耕地边缘像素远少于耕地内部像素问题,借助聚焦训练方法,使模型在训练过程中更加关注边缘像素,提高边缘检测精度。试验结果证明,该研究提出的方法在测试集上分类准确率和交并比分别为92.91%和82.84%,相比基准方法分别提升4.28%和8.01%。该研究所提取的耕地地块相比于现有方法更符合耕地的实际分布形态,为地块尺度的耕地信息精准提取提供了实用化方法。     

基于改进HRNet的遥感影像冬小麦语义分割方法

冬小麦在影像中呈现田块碎小且分布零散等空间特征,同时影像包含的复杂地物对冬小麦识别造成干扰,易出现识别精度低且边界分割模糊等问题。为及时准确获取大范围冬小麦空间分布信息,该研究以高分二号卫星影像作为数据源,提出一种CAHRNet(change attention high-resolution Net)语义分割模型。采用HRNet(high-resolution Net)替换ResNet作为模型的主干网络,网络的并行交互方式易获取高分辨率的特征信息;联合OCR(object-contextual representations)模块聚合上下文信息,以增强像素点与目标对象区域的关联性;3）引入坐标注意力（coordinate attention）机制,使网络模型充分利用有效的空间位置信息,以保留分割区域的边缘细节,提高对分布零散、形状多变的冬小麦田块的特征提取能力。试验结果表明,在自制的高分辨率遥感数据集上,CAHRNet模型的平均交并比（mean intersection over union,MIoU）和像素准确率（pixel accuracy, PA）分别达到81.72%和97.0...     

基于三维点云的植物多任务分割网络

在植物表型研究中,植物器官分割是实现无损、高通量、自动化表型测量的重要步骤。然而,现有植物器官分割方法通常需要凭借经验设置合理的阈值参数,且很少同时执行语义分割和实例分割。该研究提出了一个基于三维点云的植物多任务分割网络（a multi-task segmentation network for plant on 3D point cloud,MT-SegNet）,结合多值条件随机场（multi-value conditional random field,MV-CRF）模型,同时实现茎、叶语义分割和叶实例分割。在MT-SegNet中,为解决用最大池化或平均池化方法来聚合邻域点特征可能会导致重要信息丢失的问题,该研究提出了一种基于注意力机制的多头注意力池化模块。它能自动学习到重要的邻域点特征,从而有利于提高网络的分割性能。同时,MT-SegNet分成两个不同的分支,分别用于预测点的语义类别和将这些点嵌入到高维向量,以便将这些点聚类为实例。最后,使用MV-CRF进行多任务的联合优化。在彩叶芋点云数据集上的试验结果表明,该方法的茎、叶语义分割的交并比、准确率、召回率和F1分数的平均值分别为84.54%、93.64%、91.39%、92.48%,叶实例分割的平均准确率、平均召回率、平均实例覆盖率和平均加权实例覆盖率分别为88.10%、78.44%、76.24%、76.93%,均优于PointNet、JSNet等现有的深度学习网络。该模型也适用于类似植物的点云分割类任务。这有助于为植物自动化表型测量提供必要的技术条件。     

基于RGB和深度双模态的温室番茄图像语义分割模型

图像语义分割作为计算机视觉领域的重要技术,已经被广泛用于设施环境下的植物表型检测、机器人采摘、设施场景解析等领域。由于温室环境下未成熟番茄果实与其茎叶之间具有相似颜色,会导致图像分割精度不高等问题。本研究提出一种基于混合Transformer编码器的“RGB+深度”（RGBD）双模态语义分割模型DFST（depth-fusion semantic transformer）,试验在真实温室光照情况下获得深度图像,对深度图像做HHA编码并结合彩色图像输入模型进行训练,经过HHA编码的深度图像可以作为一种辅助模态与RGB图像进行融合并进行特征提取,利用轻量化的多层感知机解码器对特征图进行解码,最终实现图像分割。试验结果表明,DFST模型在测试集的平均交并比可达96.99%,对比不引入深度图像的模型,其平均交并比提高了1.37个百分点;对比使用卷积神经网络作为特征提取主干网络的RGBD语义分割模型,其平均交并比提高了2.43个百分点。结果证明,深度信息有助于提高彩色图像的语义分割精度,可以明显提高复杂场景语义分割的准确性和鲁棒性,同时也证明了Transformer结构作为特征提取网络在图像语义分割中也表现出了良好的性能,可为温室环境下的番茄图像语义分割任务提供解决方案和技术支持。     

改进Mask R-CNN的真实环境下鱼体语义分割

鱼体语义分割是实现鱼体三维建模和语义点云、计算鱼体生长信息的基础。为了提高复杂环境下鱼体语义分割精度,该研究提出了SA-Mask R-CNN模型,即融合SimAM注意力机制的Mask R-CNN。在残差网络的每一层引入注意力机制,利用能量函数为每一个神经元分配三维权重,以加强对鱼体关键特征的提取;使用二次迁移学习方法对模型进行训练,即首先利用COCO数据集预训练模型在Open Images DatasetV6鱼类图像数据集完成第一次迁移学习,然后在自建数据集上完成第二次迁移学习,利用具有相似特征空间的2个数据集进行迁移学习,在一定程度上缓解了图像质量不佳的情况下鱼体语义分割精度不高的问题。在具有真实养殖环境特点的自建数据集上进行性能测试,结果表明,SA-Mask R-CNN网络结合二次迁移学习方法的交并比达93.82%,综合评价指标达96.04%,分割效果优于SegNet和U-Net++,较引入SENet和CBAM注意力模块的Mask R-CNN交并比分别提升了1.79个百分点和0.33个百分点,综合评价指标分别提升了2.03个百分点和0.38个百分点,模型参数量分别减小了4.7和5MB。研究结果可为鱼体点云计算提供参考。     

基于轻量级CNN-Transformer混合网络的梯田图像语义分割

梯田是一种传统的农业种植方式,发挥着稳定作物生产与水土保持效能,修筑梯田是发展农业生产的重要措施之一。快速、准确地对梯田区域分布信息进行采集,对提高粮食产量、治理水土流失以及规划区域生态等方面具有重要的作用与意义。无人机图像梯田道路边界模糊、具有较长的带状结构,为了更准确地获取梯田的边缘信息,受MobileVit启发,该研究在MobileViT block中引入了轴向注意力机制(axial attention),并采用编码器-解码器结构,提出了基于轻量级CNN-Transformer混合构架网络模型。模型编码器部分由改进的MobileViT block、融入了条形池化的逆残差模块和空洞空间金字塔池化模块构成,再通过有效设计摆放各模块的位置顺序来实现局部与全局的视觉表征信息交互,得到完整的全局特征表达;利用解码器对编码器提取到的多尺度特征图进行采样和卷积操作得到语义分割结果图。选取PSPNet、LiteSeg、BisNetv2、Deeplabv3Plus、MobileViT在相同测试集上进行对比试验,结果表明,该研究所提模型在精度与速度方面均具有一定的优势,其像素精度可达95.79%,频权交并比可达94.86%,模型参数量为8.32 M,实现了使用较少的参数和简单的方法对复杂无规则的无人机图像梯田区域对象较为准确的分割,将其部署到无人机上可以进一步获取梯田的形状、位置、轮廓等信息,及时准确地掌握梯田边缘信息为预防和修护加固梯田提供重要的依据,同时有助于梯田区域种植面积和范围的统计,以期为梯田和旱作区农业建设的发展提供参考。     

基于改进FCN-8s的灵武长枣图像分割方法

针对不同成熟度灵武长枣图像中多尺度长枣目标的分割问题,该研究提出了一种基于改进FCN-8s的灵武长枣图像分割方法。首先,建立包含不同成熟度灵武长枣图像的数据集。其次,提出一个多尺度特征提取模块,该模块以3×3卷积为主分支,增加1×1卷积和5×5深度可分离卷积作为辅助分支,以提取灵武长枣图像中的多尺度特征。然后,用多尺度特征提取模块替换FCN-8s中的3×3卷积,又对FCN-8s网络结构做了一定的改进,得到了改进FCN-8s。最后,在灵武长枣数据集上进行试验,结果表明,改进FCN-8s的枣类交并比、平均交并比、像素准确率、召回率和像素准确率、召回率的调和平均值F_1分数分别达到了93.50%、96.41%、98.44%、97.86%和98.15%,比原FCN-8s的各项评价指标分别高出了11.31、6.20、1.51、5.21和3.14个百分点。网络参数量为5.37×106,分割速度为16.20帧/s。改进FCN-8s满足了灵武长枣智能化采摘机器人对视觉识别系统的要求,为实现灵武长枣的智能化采摘提供了技术支持。     

基于深度掩码的玉米植株图像分割模型

随着深度学习技术在植物表型检测领域的应用,有监督深度学习逐渐成为植物表型信息的提取与分析的主要方法。但由于植物结构复杂、细节特征多,人工标注的成本和质量问题已成为制约技术发展的瓶颈。该研究针对玉米苗期植株图像分割问题提出一种基于深度掩码的卷积神经网络（Depth Mask Convolutional Neural Network,DM-CNN）,将深度图像自动转换深度掩码图像,并替代人工标注样本完成图像分割网络训练。试验结果表明,在相同的网络训练参数下,通过测试DM-CNN得到的平均交并比为59.13%,平均召回率为65.78%,均优于人工标注样本对应的分割结果（平均交并比为58.49%,平均召回率为64.85%）;此外,在训练样本中加入10%室外玉米苗期图像后,DM-CNN对室外测试集的平均像素精度可以达到84.54%,证明DM-CNN具有良好的泛化能力。该研究可为高通量、高精度的玉米苗期表型信息获取提供低成本解决方案及技术支持。     

基于改进Mask R-CNN的黄瓜叶面积测量模型

植物叶面积可以反映出植物的生长速率、养分吸收以及光合作用能力，针对锯齿状边缘的黄瓜叶片分割精度较低，叶面积测量误差较大等问题。该研究提出一种深度卷积网络模型Marm，在Mask R-CNN的基础上利用Sobel算子进行边缘检测，使模型生成的掩膜更接近叶片的边缘。另外，引入边缘损失以提升叶片边缘的分割精度。借助参照物标签，利用模型输出的掩膜图像进行面积计算，获得黄瓜叶片在不同生长周期的叶面积。试验结果表明，Marm模型精确率、召回率和交并比达到99.1%、94.87%和92.18%，比原始的Mask R-CNN分别提高1.28个百分点、1.13个百分点和1.05个百分点，面积误差率下降1.43个百分点。当图像中存在叶片遮挡和阴影等多种影响，黄瓜叶片的面积误差率仍然能保持在5.45%左右。该研究有效解决了锯齿状边缘的叶片分割问题，将为植物表型研究提供技术支撑。     

基于DBSE-Net的大田稻穗图像分割

稻穗精准分割是准确估测水稻产量的关键。为实现大田环境下不同品种与生育期稻穗的准确分割,该研究提出了基于注意力机制的稻穗分割网络（Double Branch Squeeze-and-Excitation Network,DBSE-Net）。首先,提出一个双分支压缩与激励（Double Branch Squeeze-and-Excitation,DBSE）注意力模块,通过同时使用全局平均池化（Global Average Pooling,GAP）和全局最大池化（Global Max Pooling,GMP）编码输入特征的通道信息,以实现更精准的通道注意力推断。然后,为了强化稻穗特征并抑制背景区域特征,将DBSE模块添加到编码-解码分割框架中构建DBSE-Net分割网络。最后,在自采集的稻穗图像数据集上进行分割性能测试,DBSE-Net对稻穗分割的像素准确率、平均交并比和F1分数分别达到了94.32%、87.59%和91.86%,比次优模型DeeplabV3+的结果分别高出1.61、2.56和1.20个百分点,在单张256×256（像素）图像上耗时0.03 s,是DeeplabV3+分割速度的5.3倍。在公开的稻穗图像数据集上进行泛化性能测试,DBSE-Net能够有效分割出稻穗区域。该研究结果表明,DBSE-Net能够对不同品种与生育期稻穗实现高效精准分割,具有良好的泛化性,可以为水稻产量评估提供参考。     

基于通道特征金字塔的田间葡萄实时语义分割方法

复杂环境下葡萄的快速检测识别是智能采摘的关键步骤,为解决目前葡萄识别精度低和实时性差的问题,该研究提出一种轻量级葡萄实时语义分割模型（Grape Real-time Semantic Segmentation Model,GRSM）。首先,利用通道特征金字塔（Channel-wise Feature Pyramid,CFP）模块进行特征提取,该模块通过1?3和3?1空洞卷积的跳跃连接,在减少模型参数量的同时提取葡萄图像的多尺度特征和上下文信息;然后,采用池化卷积融合结构完成下采样,增加可训练参数以减少信息损失;最后,利用跳跃连接融合多种特征恢复图像细节。试验结果表明：该研究所提出的模型在田间葡萄测试集上达到了78.8%的平均交并比,平均像素准确率为90.3%,处理速度达到68.56帧/s,网络结构大小仅为4.88MB。该模型具有较高分割识别精度和较好实时性,能满足葡萄采摘机器人对视觉识别系统的要求,为葡萄的智能化采摘提供了理论基础。     

基于SegNet语义模型的高分辨率遥感影像农村建设用地提取

针对传统分类算法、浅层学习算法不适用于高空间分辨率遥感影像中农村建筑物信息提取的问题,该文以河北省霸州市高空间分辨率遥感影像WorldView-2为数据源,利用182 064幅128×128像素大小的影像切片为训练样本,选取基于深度卷积神经网络的SegNet图像语义分割算法对遥感影像中的农村建筑物进行提取,并与传统分类算法中的最大似然法(maximum likelihood,ML)和ISO聚类、浅层学习算法中的支持向量机(support vector machine,SVM)和随机森林(random forest,RF)以及深层语义分割算法中的金字塔场景解析网络(pyramid scene parsing network,PSPNet)的试验结果作对比分析。研究结果表明:SegNet不仅能够高效利用高空间分辨率遥感影像中农村建筑物的光谱信息而且还能够充分利用其丰富的空间特征信息,最终形成较好的分类模型,该算法在验证样本中的分类总体精度为96.61%,Kappa系数为0.90,建筑物的F1值为0.91,其余5种分类算法的总体精度、Kappa系数、建筑物的F1值都分别在94.68%、0.83、0.87以下。该研究可以为高空间分辨率遥感影像农村建设用地提取研究提供参考。     

构建VED-SegNet分割模型提取鱼类表型比例

为提高鱼类表型分割精度和准确度,实现鱼类表型智能监测,该研究基于深度学习算法构建了VED-SegNet模型用于鱼类表型分割和测量。该模型将cross stage partial network和GSConv结合作为编码器（VoV-GSCSP）,保持足够精度的同时降低网络结构复杂性。另一方面,该模型采用EMA(efficient multi-scale attention module with cross-spatial learning)建立强化结构,加强编码器和解码器之间的信息传递,提高模型精度,并实现了8个表型类别的输出。采用自建的鱼类表型分割数据集对VED-SegNet模型进行了测试,测量结果中鱼类各表型比例与实际测量值相接近,表型最大平均绝对和平均相对误差为0.39%、11.28%,能实现无接触式提取水产养殖中鱼类表型比例。对比其他常见语义分割模型,平均交并比mean intersection over union,mIoU和平均像素准确率mean pixel accuracy,m PA最高,分别到达了87.92%、92.83%。VED-SegNet模型在环境复杂、多鱼重叠的...     

基于深度学习的温室大棚实例识别及模型迁移

温室大棚实例提取在蔬菜种植面积测算和产量估计等方面具有重要意义。该研究以高效准确地识别大尺度范围内温室大棚实例为目标,提出了一种基于卷积神经网络和形态学后处理的“区域-边界”实例提取方法,以及单纯迁移模式、尺度适应模式、模型微调模式3种不同的迁移模式。试验结果表明,利用UNet网络构建“区域-边界”多分类模型识别温室大棚实例效果最优（实例召回率达到91.05%）。形态学后处理操作能够进一步优化温室大棚实例提取结果（单元交并比相比于操作前提高10.53个百分点）。探讨了3种模型迁移模式应用在不同场景时的表现,迁移效果由高到低依次为模型微调模式（实例召回率为87.93%）、尺度适应模式（实例召回率为41.72%）、单纯迁移模式（实例召回率为24.15%）。基于“区域-边界”实例提取方法并根据预测区域和训练区域的场景差异选择不同的迁移模式可以快速精准地识别大尺度范围内温室大棚实例,为农业设施的智能化建设提供信息支撑。     

基于RGB-D的肉牛图像全卷积网络语义分割优化

基于卷积神经网络的深度学习模型已越来越多的应用于检测肉牛行为。利用卷积操作实现肉牛图像的像素级分割有助于实现远距离、无接触、自动化的检测肉牛行为,为肉牛异常行为早期发现提供必要手段。为了提高复杂背景下肉牛图像语义分割精度,降低上采样过程中的语义分割误差,该文提出基于RGB-D的肉牛图像全卷积网络(fully convolutionalnetworks,FCN)的语义分割优化方法,用深度密度值来量化深度图像中不同像素点是否属于相同类型的概率,并根据深度图像与彩色图像在内容上的互补关系,优化和提升FCN对肉牛图像的语义分割(像素密集预测)精度。通过试验验证,该方法与全卷积网络的最优分割结果相比,可以将统计像素准确率平均提高2.5%,类别平均准确率平均提升2.3%,平均区域重合度平均提升3.4%,频率加权区域重合度平均提升2.7%。试验证明,该方法可以提升全卷积网络模型在复杂背景下肉牛图像语义分割精度。