基于通道特征金字塔的田间葡萄实时语义分割方法

复杂环境下葡萄的快速检测识别是智能采摘的关键步骤,为解决目前葡萄识别精度低和实时性差的问题,该研究提出一种轻量级葡萄实时语义分割模型（Grape Real-time Semantic Segmentation Model,GRSM）。首先,利用通道特征金字塔（Channel-wise Feature Pyramid,CFP）模块进行特征提取,该模块通过1?3和3?1空洞卷积的跳跃连接,在减少模型参数量的同时提取葡萄图像的多尺度特征和上下文信息;然后,采用池化卷积融合结构完成下采样,增加可训练参数以减少信息损失;最后,利用跳跃连接融合多种特征恢复图像细节。试验结果表明：该研究所提出的模型在田间葡萄测试集上达到了78.8%的平均交并比,平均像素准确率为90.3%,处理速度达到68.56帧/s,网络结构大小仅为4.88MB。该模型具有较高分割识别精度和较好实时性,能满足葡萄采摘机器人对视觉识别系统的要求,为葡萄的智能化采摘提供了理论基础。     

基于改进空洞卷积神经网络的丘陵山区田间道路场景识别

基于机器视觉的自主导航是智能农业机械的主要导航方式之一。丘陵山区复杂的田间道路场景,使得智能农机在田间道路上的自主导航与避障存在较大的困难。该文根据丘陵山区田间道路图像特征,将田间道路场景对象分为背景、道路、行人、植被、天空、建筑、牲畜、障碍、水塘、土壤和杆等11类,构建了基于空洞卷积神经网络的田间道路场景图像语义分割模型。该模型包括前端模块和上下文模块,前端模块为VGG-16融合空洞卷积的改进结构,上下文模块为不同膨胀系数空洞卷积层的级联,采用两阶段训练方法进行训练。利用CAFFE深度学习框架将改进的网络模型与经典的FCN-8s网络模型进行了对比测试,并进行了道路阴影的适应性测试。语义分割测试结果表明:Front-end+Large网络的统计像素准确率、类别平均准确率以及平均区域重合度都最高,而FCN-8s网络最低;Front-end+Large网络在无阴影道路训练集和有阴影道路训练集上的平均区域重合度分别为73.4%和73.2%,对阴影干扰有良好的适应性。该文实现了丘陵山区田间道路场景像素级的预测,能为智能农业机械在田间道路上基于机器视觉的自主导航和避障奠定基础。     

改进Mask R-CNN的真实环境下鱼体语义分割

鱼体语义分割是实现鱼体三维建模和语义点云、计算鱼体生长信息的基础。为了提高复杂环境下鱼体语义分割精度,该研究提出了SA-Mask R-CNN模型,即融合SimAM注意力机制的Mask R-CNN。在残差网络的每一层引入注意力机制,利用能量函数为每一个神经元分配三维权重,以加强对鱼体关键特征的提取;使用二次迁移学习方法对模型进行训练,即首先利用COCO数据集预训练模型在Open Images DatasetV6鱼类图像数据集完成第一次迁移学习,然后在自建数据集上完成第二次迁移学习,利用具有相似特征空间的2个数据集进行迁移学习,在一定程度上缓解了图像质量不佳的情况下鱼体语义分割精度不高的问题。在具有真实养殖环境特点的自建数据集上进行性能测试,结果表明,SA-Mask R-CNN网络结合二次迁移学习方法的交并比达93.82%,综合评价指标达96.04%,分割效果优于SegNet和U-Net++,较引入SENet和CBAM注意力模块的Mask R-CNN交并比分别提升了1.79个百分点和0.33个百分点,综合评价指标分别提升了2.03个百分点和0.38个百分点,模型参数量分别减小了4.7和5MB。研究结果可为鱼体点云计算提供参考。     

基于RGB和深度双模态的温室番茄图像语义分割模型

图像语义分割作为计算机视觉领域的重要技术，已经被广泛用于设施环境下的植物表型检测、机器人采摘、设施场景解析等领域。由于温室环境下未成熟番茄果实与其茎叶之间具有相似颜色，会导致图像分割精度不高等问题。本研究提出一种基于混合Transformer编码器的“RGB+深度”（RGBD）双模态语义分割模型DFST（depth-fusion semantic transformer），试验在真实温室光照情况下获得深度图像，对深度图像做HHA编码并结合彩色图像输入模型进行训练，经过HHA编码的深度图像可以作为一种辅助模态与RGB图像进行融合并进行特征提取，利用轻量化的多层感知机解码器对特征图进行解码，最终实现图像分割。试验结果表明，DFST模型在测试集的平均交并比可达96.99%，对比不引入深度图像的模型，其平均交并比提高了1.37个百分点；对比使用卷积神经网络作为特征提取主干网络的RGBD语义分割模型，其平均交并比提高了2.43个百分点。结果证明，深度信息有助于提高彩色图像的语义分割精度，可以明显提高复杂场景语义分割的准确性和鲁棒性，同时也证明了Transformer结构作为特征提取网络在图像语义分割中也表现出了良好的性能，可为温室环境下的番茄图像语义分割任务提供解决方案和技术支持。     

基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络（Shifted Window Transformer,Swin Transformer）的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入Swin Transformer主干并采用统一感知解析网络作为其高效语义分割框架;改进Swin Transformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51′10-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。     

基于分组注意力模块的实时农作物病害叶片语义分割模型

针对传统农作物病害识别方法准确率低、鲁棒性差等问题,该研究首先提出一种基于分组激活策略的分组注意力模块,利用高阶特征指导加强低阶特征,通过分组计算组内加强系数,减少不同组之间的抑制作用,加强特征表达能力。对比试验表明,分组注意力模块特征强化效果优于传统注意力模块。基于分组注意力模块,该研究提出一种实时高效农作物病害叶片语义分割模型,该模型融合了编码-解码语义分割模型和多流语义分割模型的优点。采用ResNet18模型作为特征提取网络对农作物病害叶片的语义分割像素精度达到93.9%,平均交并比达到78.6%。在单张NVIDIA GTX1080Ti显卡的硬件环境下,输入分辨率为900×600像素的图片,该模型运行速度达到每秒130.1帧,满足实时农作物病害叶片语义分割需求,为现代农业病害识别、自动施肥和精准灌溉等应用提供参考。     

基于红外热成像与改进YOLOV3的夜间野兔监测方法

随生态改善,野兔数量增多,对农田与林地的危害日益加重。野兔活动多为夜间,目标小,运动速度快,且出现环境较复杂,监控兔害,需要一种高效智能化的方法。针对野兔活动习性,该文提出了使用红外热成像实时监控,结合改进的YOLOV3目标检测方法对夜间野兔进行检测。根据YOLOV3目标检测网络基本结构提出了一种针对红外图像中野兔的实时检测的网络(infrared rabbit detection YOLO,IR-YOLO),该网络特征提取部分压缩YOLOV3特征提取网络深度,利用浅层卷积层特征以提高低分辨率红外小目标检测精度,降低运算量,网络检测部分使用基于CenterNet结构的检测方式以提高检测速度。使用热成像野外实时采集的夜间野兔图像作为数据集,包括不同距离,尺度,出现环境不同的野兔共计6 000幅红外图像制作训练集与测试集,比例为5:1。试验结果表明,IR-YOLO在红外热成像视频中复杂环境下出现的野兔检测率达75%,平均检测速度51帧/s,相对改进前YOLOV3检测率提高15个百分点,相对改进前YOLOV3检测速度提高5帧/s。相比其他目标检测算法各项检测指标更为优良,检测率方面相对Faster-RCNN与RFCN-RESNET101分别提高45个百分点与20个百分点,检测速度方面相对Faster-RCNN与RFCN-RESNET101分别提高30和与45帧/s。该方法可高效快速地对夜间复杂环境下出现的野兔进行检测,也可广泛应用于夜间对其他类型农业害兽的检测。     

田间道路改进UNet分割方法

为了保证自动驾驶农机的安全行驶,需要对农田间道路进行高精度识别。该研究以北京市大兴区榆垡镇为研究地点,构建了农田间道路图像数据集,使用开源标注工具Labelme软件进行图像标注,以UNet为基本网络结构,针对分割过程中存在的道路边缘和远处道路分割效果较差等现象,提出了3个改进方向:在编码器网络中添加残差连接,增加网络复杂度;使用池化卷积融合结构完成下采样,增加可训练参数以减少信息损失。试验结果表明,使用ACBlock(Asymmetric Convolution Block,ACBlock)和DACBlock(Dilated Asymmetric Convolution Block, DACBlock)替换UNet中的卷积核,增加了卷积核"骨架"结构的权重和卷积核的感受野,提高了远处道路及道路边缘的分割效果,农田间道路分割的交并比值为85.03%,相较于原UNet提高了6.52个百分点,且高于ResUNet、UNet3+等网络。农机行驶速度在20 km/h左右,该研究网络对于1280×720像素大小的图片平均推理时间为163 ms,符合农机自动驾驶时间复杂度要求。该研究提高了自动驾驶农机对农田间道路的感知能力,为安全行驶提供了信息支持。     

复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割,该研究提出了一种基于SOLO的绿色果实优化分割算法。首先,利用分离注意力网络（ResNeSt）设计SOLO算法的主干网络,用于提取绿色果实特征;其次,为更好地应对绿色果实特征的多尺度问题,引入特征金字塔网络（Feature Pyramid Networks,FPN）,构造ResNeSt+FPN组合结构;最后,将SOLO算法分为类别预测和掩码生成2个分支,类别预测分支在预测语义类别的同时,掩码生成分支实现了对绿色果实的实例分割。试验结果表明,优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%,平均每张绿色果实图像在图形处理器（Graphics Processing Unit,GPU）上的分割时间为0.14 s。通过对比试验可知,优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法（Optimized Mask Region Convolutional Neural Network,Optimized Mask R-CNN）、SOLO算法、掩膜区域卷积神经网络算法（Mask Region Convolutional Neural Network,Mask R-CNN）和全卷积实例感知语义分割算法（Fully Convolutional Instance-aware Semantic Segmentation,FCIS）提高了1.63、1.74、2.23和6.52个百分点,精确率分别提高了1.10、1.47、2.61和6.75个百分点,分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴,扩展果园测产和机器采摘的应用范围。     

基于语义分割的非结构化田间道路场景识别

环境信息感知是智能农业装备系统自主导航作业的关键技术之一。农业田间道路复杂多变，快速准确地识别可通行区域，辨析障碍物类别，可为农业装备系统高效安全地进行路径规划和决策控制提供依据。该研究以非结构化农业田间道路场景为研究对象，根据环境对象动、静态属性进行类别划分，提出一种基于通道注意力结合多尺度特征融合的轻量化语义分割模型。首先采用Mobilenet V2轻量卷积神经网络提取图像特征，将混合扩张卷积融入特征提取网络最后2个阶段，在保证特征图分辨率的基础上增加感受野并保持信息的连续性与完整性；然后引入通道注意力模块对特征提取网络各阶段特征通道依据重要程度重新标定；最后通过空间金字塔池化模块将多尺度池化特征进行融合，获取更加有效的全局场景上下文信息，增强对复杂道路场景识别的准确性。语义分割试验表明，不同道路环境下本文模型可以对场景对象进行有效识别解析，像素准确率和平均像素准确率分别为94.85%、90.38%，具有准确率高、鲁棒性强的特点。基于相同测试集将本文模型与FCN-8S、SegNet、DeeplabV3+、BiseNet模型进行对比试验，本文模型的平均区域重合度为85.51%，检测速度达到8.19帧/s，参数数量为，相比于其他模型具有准确性高、推理速度快、参数量小等优点，能够较好地实现精度与速度的均衡。研究成果可为智能农业装备在非结构化道路环境下安全可靠运行提供技术参考。     

基于双注意力语义分割网络的田间苗期玉米识别与分割

为实现复杂田间场景中幼苗期玉米和杂草的准确识别与区域划分,该研究提出改进的双注意力语义分割方法,通过获取形态边界实现玉米幼苗的识别与精细分割,在此基础上采用形态学处理方法识别图像中除玉米外的全部杂草区域。首先对6种当前最高性能的语义分割网络进行对比,确定模型原始架构;建立幼苗期玉米语义分割模型,包括改进深层主干网络增强特征,引入双注意力机制构建特征的场景语义依赖关系,以编码器-解码器结构组建模型并增加辅助网络优化底层特征,改进损失函数协调模型整体表现,制定改进的迁移学习策略;提出图像形态学处理方法,基于玉米像素分割结果,生成杂草分割图。测试结果表明,模型的平均交并比、平均像素识别准确率分别为94.16%和95.68%,相比于原网络分别提高1.47%和1.08%,识别分割速度可达15.9帧/s。该研究方法能够对复杂田间场景中的玉米和杂草进行准确识别与精细分割,在仅识别玉米的前提下识别杂草,有效减少图像标注量,避免田间杂草种类的多样性对识别精度的影响,解决玉米与杂草目标交叠在形态边界上难以分割的问题,研究结果可为智能除草装备提供参考。     

基于垄间背景剔除优化小麦赤霉病遥感监测精度

为探究麦田垄间背景对无人机多光谱小麦赤霉病监测精度的影响,该研究以江苏省镇江市农科院灌浆期小麦为研究对象,利用大疆M600 Pro无人机搭载RedEdge-MX多光谱相机获取小麦冠层多光谱影像。通过筛选与小麦赤霉病相关性最高的植被指数（vegetation indexes,VIs）：MSR和CRI2植被指数,并采用大津法（Nobuyuki Otsu method,OTSU）、阈值分割法和支持向量机（support vector machine,SVM）等方法对小麦赤霉病遥感图像进行精细化语义分割,降低田块边缘阴影背景和染病麦穗之间的误判率。试验结果表明：目视解译阈值分割法剔除背景的效果最好（总体精度：92.06 %,Kappa系数：0.84）,OTSU阈值分割法（总体精度：90.52%,Kappa系数：0.81）效果次之。采用偏最小二乘回归分别建立小麦病情指数（disease index,DI）与VIs、纹理特征（texture features,TFs）和VIs&TFs小麦赤霉病监测模型,其中VIs&TFs模型监测精度最高,剔除垄间背景前预测模型训练集的决定系数（coefficient of determination,R2）为0.73,均方根误差（root mean square error,RMSE）为5.52,相对分析误差（relative percent deviation,RPD）为2.01,验证集的R2为0.68,RMSE为6.21,RPD为1.96;剔除垄间背景后VIs&TFs模型监测精度依然最高,训练集的R2为0.75,RMSE为5.58,RPD为2.13,验证集的R2为0.77,RMSE为7.13,RPD为2.11。综上所述,基于垄间背景特征的精细化语义分割有效地提高了小麦赤霉病的监测精度,可以直观地了解小麦病情分布情况,可对后续变量施药提供参考依据。     

基于多尺度串联空洞卷积的轻量化UNet香蕉图像分割

针对香蕉果串识别系统中传统的UNet网络存在实时性差、参数量多、下采样后丢失空间信息等问题,该研究提出基于UNet模型的轻量化分割网络,构造一个轻量级的主干特征提取模块,在降低模型参数量和计算量的同时增强网络提取特征的能力,使用膨胀率为[2,1,2]锯齿波形的多尺度串联空洞卷积组合在增大感受野的同时保持对细节的敏感度。该研究算法在自建香蕉果串数据集上的试验结果表明,网络参数量为0.45 M时,香蕉果串识别分割速度可达41.0帧/s,平均像素分类准确率为97.32%、交并比为92.57%。相比于其他模型具有准确率高、参数量小等优点,能够较好地实现精度和速度的均衡。该算法对自然种植环境下的香蕉果串具有良好的识别效果,可为智能化香蕉采摘等应用提供视觉识别技术支持。     

基于改进残差网络的橡胶林卫星影像语义分割方法

为进一步提升现有基于残差的分割模型在测试集上的信息提取能力和验证改进残差优化策略普适性及实现橡胶卫星影像的更优分割,该研究提出了一种通用改进残差策略,以哨兵-2多光谱卫星影像为数据源构建数据集,并使用改进后残差网络ResNet50_ve作为OCRNet模型的骨干网络,实现基于变种残差网络的OCRNet模型（ResNet-ve-OCRNet）,使用在ImageNet1k分类数据集上蒸馏好的学生模型作为预训练模型参与ResNet-ve-OCRNet模型的训练。研究结果表明使用层数中等的基于50层残差网络在小尺度卫星影像训练集上各指标收敛效果优于较深层数的101层残差网络,与DeeplabV3、DeeplabV3+、PSPNet模型相比,以ResNet50_ve为骨干网络的OCRNet在验证集上的平均交并比达到0.85,像素准确率达到97.87%,卡帕系数达到0.90。该研究提出的改进残差策略具有一定的普适性可应用到众多主流分割模型上且有评价指标性能增益,从预测图来看,基于改进残差网络（ResNet-ve）的模型抑制了在测试集预测图上的上下文信息缺失问题,能够实现橡胶林卫星影像的更优精确分割。     

基于轻量级CNN-Transformer混合网络的梯田图像语义分割

梯田是一种传统的农业种植方式,发挥着稳定作物生产与水土保持效能,修筑梯田是发展农业生产的重要措施之一。快速、准确地对梯田区域分布信息进行采集,对提高粮食产量、治理水土流失以及规划区域生态等方面具有重要的作用与意义。无人机图像梯田道路边界模糊、具有较长的带状结构,为了更准确地获取梯田的边缘信息,受MobileVit启发,该研究在MobileViT block中引入了轴向注意力机制(axial attention),并采用编码器-解码器结构,提出了基于轻量级CNN-Transformer混合构架网络模型。模型编码器部分由改进的MobileViT block、融入了条形池化的逆残差模块和空洞空间金字塔池化模块构成,再通过有效设计摆放各模块的位置顺序来实现局部与全局的视觉表征信息交互,得到完整的全局特征表达;利用解码器对编码器提取到的多尺度特征图进行采样和卷积操作得到语义分割结果图。选取PSPNet、LiteSeg、BisNetv2、Deeplabv3Plus、MobileViT在相同测试集上进行对比试验,结果表明,该研究所提模型在精度与速度方面均具有一定的优势,其像素精度可达95.79%,频权交并比可达94.86%,模型参数量为8.32 M,实现了使用较少的参数和简单的方法对复杂无规则的无人机图像梯田区域对象较为准确的分割,将其部署到无人机上可以进一步获取梯田的形状、位置、轮廓等信息,及时准确地掌握梯田边缘信息为预防和修护加固梯田提供重要的依据,同时有助于梯田区域种植面积和范围的统计,以期为梯田和旱作区农业建设的发展提供参考。     

基于改进空间-协调注意力UNet的多作物分类提取

为弥补目前多作物分类提取精细化程度不高的问题，探究不同尺度数据集对网络精度的影响，该研究对协调注意力进行改进，并将此模块加入到UNet网络中，以验证改进后的空间-协调注意力UNet(spatial-coordinate attention UNet,SPCA-UNet)的合理性与有效性。结果表明：以1 500×1 500像素分辨率数据为输入的网络提取精度最高，UNet和DeepLab v3+网络模型对尺度信息不敏感；在注意力比较试验中，改进的空间-协调注意力的平均交并比、平均像素精度、平均精准率、平均召回率均优于SENet(squeeze-and-excitation networks)、CBAM(convolutional block attention module)、ECA(efficient channel attention)和CA(coordinate attention)模块，平均交并比达到了92.20%，平均像素精度达到95.97%，比CA模块的平均交并比和平均像素精度分别高出1.16和0.76个百分点。改进的空间-协调注意力可以很好地保持作物边界信息，由于其较强的规范...     

CNN-ISS遥感影像分类的瓦片边缘效应及消除方案

应用卷积神经网络语义分割模型(Image Semantic Segmentation based on Convolutional Neural Network,CNN-ISS)进行遥感影像分类时,需将大幅影像分解为特定大小瓦片影像,并将其作为CNN-ISS处理对象,这一过程破坏了位于瓦片边缘处地物的完整几何及纹理特征,从而影响瓦片边缘处地物的识别效果,即瓦片边缘效应。该研究以DeepLab V3为CNN-ISS核心模型,对唐山农村地物进行语义分割,定量分析了分类结果的瓦片边缘效应,并提出了5个消除此效应的后处理方案。结果表明:像素分类精度与像素到瓦片边缘距离正相关,瓦片边缘处错误率最高达6.93%,中央处错误率最低为3.52%,存在瓦片边缘效应;采用该研究提出的瓦片边缘效应消除方案后,整幅影像的总精度(Pixel Accuracy,PA)、均交并比(Mean Intersection over Union,mIoU)和Kappa系数均有提升,最高分别提升0.40、1.97个百分点和0.0122。在不改变CNN-ISS核心模型条件下,通过该研究的瓦片边缘效应消除后处理方案,可有效提升遥感影像分类精度,尤其针对复杂异构体和线状地物精度提升效果更好。