多通道深度可分离卷积模型实时识别复杂背景下甜菜与杂草

针对实际复杂田间环境下杂草与作物识别精度低和实时性差的问题,为减少弱光环境对分割识别效果的影响,实现甜菜与杂草的实时精确分割识别,该文首先将可见光图像进行对比度增强,再将近红外与可见光图像融合为4通道图像;将深度可分离卷积以及残差块构成分割识别模型的卷积层,减少模型参数量及计算量,构建编码与解码结构并融合底层特征,细化分割边界。以分割识别精度、参数量以及运行效率为评价指标,通过设置不同宽度系数以及输入图像分辨率选出最优模型。试验结果表明:本文模型的平均交并比达到87.58%,平均像素准确率为99.19%,帧频可达42.064帧/s,参数量仅为525 763,具有较高分割识别精度和较好实时性。该方法有效实现了甜菜与杂草的精确实时识别,可为后续机器人精确除草提供理论参考。     

自然环境下贴叠葡萄串的识别与图像分割算法

针对自然环境下贴叠葡萄串难以识别与分割的问题,该文首先提取HSV颜色空间中的H分量,获取贴叠葡萄串区域,分析该区域长宽比从而判定葡萄串的贴叠性质;提取葡萄串图像轮廓信息,获取轮廓拐点与类圆心点信息;利用拐点与中心点之间的斜率判定目标葡萄串所在位置。然后,利用Chan-Vese模型进行葡萄串的迭代识别,并结合拐点信息获得重叠边界的轮廓信息。最后,将重叠边界轮廓与图像轮廓进行融合,实现目标葡萄串识别。试验结果表明,该文方法的平均精准度为89.71%,平均假阳率为4.24%,识别成功率为90.91%,与现有方法相比,该文方法可实现完整目标葡萄串的识别与分割,并提高了识别与分割的精准度,为葡萄采摘机器人成功采收贴叠葡萄串提供切实可行的算法。     

反卷积引导的番茄叶部病害识别及病斑分割模型

针对当前植物叶部病害识别模型易受阴影、遮挡物及光线强度干扰,特征提取具有盲目和不确定性的问题,该研究构建一种基于反卷积引导的VGG网络(Deconvolution-GuidedVGGNet,DGVGGNet)模型,同时实现植物叶部病害种类识别与病斑分割。首先使用VGGNet计算多分类交叉熵损失进行病害分类训练,得到病害分类结果;其次设计反向全连接层,将分类结果恢复为特征图形式;然后采用上采样与卷积操作相结合的方法实现反卷积,利用跳跃连接融合多种特征恢复图像细节;最后使用少量病斑监督,对每个像素点使用二分类交叉熵损失进行训练,引导编码器关注真实的病斑部位。试验结果表明,该研究模型的病害种类识别精度达99.19%,病斑分割的像素准确率和平均交并比分别达94.66%和75.36%,在遮挡、弱光等环境下具有良好的鲁棒性。     

基于改进YOLOv7-seg的黄花菜检测分割识别算法

目标检测与分割是实现黄花菜智能化采摘的关键技术,原始目标检测算法容易出现漏检、误检等问题,无法满足自然环境下生长的黄花菜采摘要求。该研究提出一种基于改进YOLOv7-seg的黄花菜目标检测与实例分割识别算法模型（YOLO-Daylily）。通过在YOLOv7-seg骨干网络（backbone）中引入CBAM（convolutional block attention module）注意力机制模块,降低背景等干扰因素的影响;在ELAN（efficient layer aggregation networks）模块中采用PConv（partial convolution）替换原有的3×3卷积层,减少冗余计算和内存访问,提升对目标黄花菜特征提取的能力。颈部网络（neck）采用坐标卷积（CoordConv）替换PA-FPN（path aggregation-feature pyramid networks）中1×1卷积层,增强模型对位置的感知,提高掩膜（mask）鲁棒性。在改进的PA-FPN结构中采用残差连接方法将浅层特征图几何信息与深层特征图语义信息特征相结合,提高模型对目标黄花菜的检测分割性能。消融试验表明：改进后的算法检测准确率、召回率和平均精度分别达到92%、86.5%、93%,相比YOLOv7-seg基线算法分别提升2.5、2.3、2.7个百分点;分割准确率、召回率和平均精度分别达到92%、86.7%、93.5%,比基线算法分别提升0.2、3.5、3个百分点。与Mask R-CNN、SOLOv2、YOLOV5-seg、YOLOv5x-seg算法相比,平均精度分别提升8.4、12.7、4.8、5.4个百分点。改进后的模型减少了漏检、误检等情况,对目标定位更加精准,为后续黄花菜智能化采摘实际应用提供理论支持。     

融合双分支特征和注意力机制的葡萄病虫害识别模型

葡萄病虫害识别是精细化防治的前提。针对现有研究中存在的数据集少、识别精度低、模型参数量大等问题,该研究构建包含健康叶片、3类病害叶片和16类虫害的葡萄病虫害数据集,提出基于改进MobileNet V2模型的葡萄病虫害识别模型。首先在MobileNet V2模型的反向残差模块中嵌入坐标注意力（Coordinate Attention,CA）机制,提升模型的信息表征能力;然后使用深度可分离卷积设计双分支特征融合模块,加强模型的特征提取能力;最后对模型的通道数进行调整,精简模型结构。试验结果表明：MobileNet_Vitis在葡萄病虫害数据集上的识别准确率和F1分数为89.16%和80.44%,相比改进前的MobileNet V2 提高了1.83和9.31个百分点,而模型参数大小为7.85 MB,减少了8.5%。与ResNet 101、ShuffleNet V2、MobileNet V3和GhostNet相比,MobileNet_Vitis的识别精度和F1分数更高,参数量更小。MobileNet_Vitis对单张葡萄病虫害图像的推理时间为17.53 ms,可以达到快速识别的要求。该研究提出的模型能够较好地识别葡萄病虫害,并且较大幅度地减少模型的参数量。将MobileNet_Vitis模型部署到移动端的小程序上,可为葡萄病虫害的防治提供帮助。     

基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。     

基于语义分割的非结构化田间道路场景识别

环境信息感知是智能农业装备系统自主导航作业的关键技术之一。农业田间道路复杂多变，快速准确地识别可通行区域，辨析障碍物类别，可为农业装备系统高效安全地进行路径规划和决策控制提供依据。该研究以非结构化农业田间道路场景为研究对象，根据环境对象动、静态属性进行类别划分，提出一种基于通道注意力结合多尺度特征融合的轻量化语义分割模型。首先采用Mobilenet V2轻量卷积神经网络提取图像特征，将混合扩张卷积融入特征提取网络最后2个阶段，在保证特征图分辨率的基础上增加感受野并保持信息的连续性与完整性；然后引入通道注意力模块对特征提取网络各阶段特征通道依据重要程度重新标定；最后通过空间金字塔池化模块将多尺度池化特征进行融合，获取更加有效的全局场景上下文信息，增强对复杂道路场景识别的准确性。语义分割试验表明，不同道路环境下本文模型可以对场景对象进行有效识别解析，像素准确率和平均像素准确率分别为94.85%、90.38%，具有准确率高、鲁棒性强的特点。基于相同测试集将本文模型与FCN-8S、SegNet、DeeplabV3+、BiseNet模型进行对比试验，本文模型的平均区域重合度为85.51%，检测速度达到8.19帧/s，参数数量为，相比于其他模型具有准确性高、推理速度快、参数量小等优点，能够较好地实现精度与速度的均衡。研究成果可为智能农业装备在非结构化道路环境下安全可靠运行提供技术参考。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

基于多路卷积神经网络的大田小麦赤霉病图像识别

为了准确地识别小麦病害,及时采取防治措施,减少农药施用的成本,同时减少农业生态环境的污染,该研究以灌浆期感染赤霉病的小麦麦穗图像为研究对象,根据病变区域与健康区域的颜色分布特点,设计了一种多路卷积神经网络用于小麦赤霉病图像的识别。首先利用深度语义分割网络U-Net对大田环境下的小麦图像进行分割,去除小麦叶片及其他无关背景的影响,从而分割出麦穗图像。然后设计结构较为简单的多路卷积神经网络分别提取麦穗图像R、G、B 3个通道的特征,通过特征融合获得具有高辨识性的麦穗图像语义特征。最后,为了增大赤霉病和健康麦穗图像特征之间的可区分性,同时减小赤霉病麦穗图像类内特征的差异,采用联合损失函数进一步改善网络的性能。该研究对采集的大田环境下的510幅灌浆期小麦群体图像进行分割,选取2 745幅完整单株麦穗图像利用所设计的多路卷积神经网络进行赤霉病识别试验,结果表明该研究所提算法对单株麦穗赤霉病识别精度达到100%,能够为小麦病害的智能识别提供帮助。     

改进Mask R-CNN的真实环境下鱼体语义分割

鱼体语义分割是实现鱼体三维建模和语义点云、计算鱼体生长信息的基础。为了提高复杂环境下鱼体语义分割精度,该研究提出了SA-Mask R-CNN模型,即融合SimAM注意力机制的Mask R-CNN。在残差网络的每一层引入注意力机制,利用能量函数为每一个神经元分配三维权重,以加强对鱼体关键特征的提取;使用二次迁移学习方法对模型进行训练,即首先利用COCO数据集预训练模型在Open Images DatasetV6鱼类图像数据集完成第一次迁移学习,然后在自建数据集上完成第二次迁移学习,利用具有相似特征空间的2个数据集进行迁移学习,在一定程度上缓解了图像质量不佳的情况下鱼体语义分割精度不高的问题。在具有真实养殖环境特点的自建数据集上进行性能测试,结果表明,SA-Mask R-CNN网络结合二次迁移学习方法的交并比达93.82%,综合评价指标达96.04%,分割效果优于SegNet和U-Net++,较引入SENet和CBAM注意力模块的Mask R-CNN交并比分别提升了1.79个百分点和0.33个百分点,综合评价指标分别提升了2.03个百分点和0.38个百分点,模型参数量分别减小了4.7和5MB。研究结果可为鱼体点云计算提供参考。     

采用改进Mask R-CNN算法定位鲜食葡萄疏花夹持点

为实现鲜食葡萄疏花机械化与自动化,该研究提出了一种鲜食葡萄疏花夹持点定位方法。首先基于ResNeXt骨干网络并融合路径增强,改进Mask R-CNN模型,解决鲜食葡萄花穗、果梗目标较小难以检测的问题;进而针对花穗、果梗生长姿态的复杂性与不确定性,提出一种集合逻辑算法,该算法采用IoU函数剔除重复检测的花穗与果梗,建立花穗、果梗对,并对果梗掩模进行形态学开运算,利用集合关系获取主果梗掩模,确定以主果梗质心附近的中心点为果梗的夹持点。最后,随机选取测试集中的图像进行试验。试验结果表明：果梗夹持点平均定位准确率为83.3%,平均定位时间为0.325 s,夹持点x、y方向定位误差及定位总误差最大值分别为10、12和16像素,能够满足鲜食葡萄疏花的定位精度与速度要求,可为实现鲜食葡萄疏花机械化与自动化提供理论支撑。     

基于RGB和深度双模态的温室番茄图像语义分割模型

图像语义分割作为计算机视觉领域的重要技术，已经被广泛用于设施环境下的植物表型检测、机器人采摘、设施场景解析等领域。由于温室环境下未成熟番茄果实与其茎叶之间具有相似颜色，会导致图像分割精度不高等问题。本研究提出一种基于混合Transformer编码器的“RGB+深度”（RGBD）双模态语义分割模型DFST（depth-fusion semantic transformer），试验在真实温室光照情况下获得深度图像，对深度图像做HHA编码并结合彩色图像输入模型进行训练，经过HHA编码的深度图像可以作为一种辅助模态与RGB图像进行融合并进行特征提取，利用轻量化的多层感知机解码器对特征图进行解码，最终实现图像分割。试验结果表明，DFST模型在测试集的平均交并比可达96.99%，对比不引入深度图像的模型，其平均交并比提高了1.37个百分点；对比使用卷积神经网络作为特征提取主干网络的RGBD语义分割模型，其平均交并比提高了2.43个百分点。结果证明，深度信息有助于提高彩色图像的语义分割精度，可以明显提高复杂场景语义分割的准确性和鲁棒性，同时也证明了Transformer结构作为特征提取网络在图像语义分割中也表现出了良好的性能，可为温室环境下的番茄图像语义分割任务提供解决方案和技术支持。     

基于波段增强的DeepLabv3+多光谱影像葡萄种植区识别

精准获取葡萄种植区分布信息对其精细化管理和优质基地建设具有重要意义，通常大区域种植区识别主要基于遥感影像完成，但葡萄种植区空间位置的分散性和背景环境的复杂性，使得种植区识别的精度不高。该研究基于DeepLabv3+网络，改进网络输入通道数使其能够接受更多的光谱信息，同时构建波段信息增强模块（Band Information Enhancement，BIE），利用各波段特征图之间的相关性生成综合特征，提出了波段信息增强的葡萄种植区识别方法（BIE-DeepLabv3+）。在2016和2019年高分二号影像葡萄种植区数据集上训练网络，在2020年影像上测试其性能，结果表明，改进模型输出结果的平均像素精度和平均交并比分别为98.58%和90.27%，识别效果好于机器学习SVM算法，在深度学习DeepLabv3+模型的基础上分别提高了0.38和2.01个百分点，比SegNet分别提高了0.71和4.65个百分点。BIE-DeepLabv3+模型拥有更大的感受野和捕获多尺度信息特征的同时放大了地物间的差异，能够解决影像中葡萄种植区存在类间纹理相似性、背景和环境复杂等问题，在减少模型参数的同时预测出的葡萄种植区更加完整，且边缘识别效果良好，为较大区域内背景复杂的遥感图像葡萄种植区识别提供了有效方法。     

基于轻量级CNN-Transformer混合网络的梯田图像语义分割

梯田是一种传统的农业种植方式,发挥着稳定作物生产与水土保持效能,修筑梯田是发展农业生产的重要措施之一。快速、准确地对梯田区域分布信息进行采集,对提高粮食产量、治理水土流失以及规划区域生态等方面具有重要的作用与意义。无人机图像梯田道路边界模糊、具有较长的带状结构,为了更准确地获取梯田的边缘信息,受MobileVit启发,该研究在MobileViT block中引入了轴向注意力机制(axial attention),并采用编码器-解码器结构,提出了基于轻量级CNN-Transformer混合构架网络模型。模型编码器部分由改进的MobileViT block、融入了条形池化的逆残差模块和空洞空间金字塔池化模块构成,再通过有效设计摆放各模块的位置顺序来实现局部与全局的视觉表征信息交互,得到完整的全局特征表达;利用解码器对编码器提取到的多尺度特征图进行采样和卷积操作得到语义分割结果图。选取PSPNet、LiteSeg、BisNetv2、Deeplabv3Plus、MobileViT在相同测试集上进行对比试验,结果表明,该研究所提模型在精度与速度方面均具有一定的优势,其像素精度可达95.79%,频权交并比可达94.86%,模型参数量为8.32 M,实现了使用较少的参数和简单的方法对复杂无规则的无人机图像梯田区域对象较为准确的分割,将其部署到无人机上可以进一步获取梯田的形状、位置、轮廓等信息,及时准确地掌握梯田边缘信息为预防和修护加固梯田提供重要的依据,同时有助于梯田区域种植面积和范围的统计,以期为梯田和旱作区农业建设的发展提供参考。     

基于迁移学习的葡萄叶片病害识别及移动端应用

为解决已有的卷积神经网络在小样本葡萄病害叶片识别的问题中出现的收敛速度慢,易产生过拟合现象等问题,提出了一种葡萄叶片病害识别模型(Grape-VGG-16,GV),并针对该模型提出基于迁移学习的模型训练方式。将VGG-16网络在ImageNet图像数据集上学习的知识迁移到本模型中,并设计全新的全连接层。对收集到的葡萄叶片图像使用数据增强技术扩充数据集。基于扩充前后的数据集,对全新学习、训练全连接层的迁移学习、训练最后一个卷积层和全连接层的迁移学习3种学习方式进行了试验。试验结果表明,1)迁移学习的2种训练方式相比于全新学习准确率增加了10～13个百分点,并在仅训练25轮达到收敛,该方法有效提升了模型分类性能,缩短模型的收敛时间;2)数据扩充有助于增加数据的多样性,并随着训练次数的增加,训练与测试准确率同步上升,有效缓解了过拟合现象。在迁移学习结合数据扩充的方式下,所构建的葡萄叶片病害识别模型(GV)对葡萄叶片病害的识别准确率能达到96.48%,对健康叶、褐斑病、轮斑病和黑腐病的识别准确率分别达到98.04%、98.04%、95.83%和94.00%。最后,将最终的研究模型部署到移动端,实现了田间葡萄叶片病害的智能检测,为葡萄病害的智能诊断提供参考。     

构建VED-SegNet分割模型提取鱼类表型比例

为提高鱼类表型分割精度和准确度,实现鱼类表型智能监测,该研究基于深度学习算法构建了VED-SegNet模型用于鱼类表型分割和测量。该模型将cross stage partial network和GSConv结合作为编码器（VoV-GSCSP）,保持足够精度的同时降低网络结构复杂性。另一方面,该模型采用EMA(efficient multi-scale attention module with cross-spatial learning)建立强化结构,加强编码器和解码器之间的信息传递,提高模型精度,并实现了8个表型类别的输出。采用自建的鱼类表型分割数据集对VED-SegNet模型进行了测试,测量结果中鱼类各表型比例与实际测量值相接近,表型最大平均绝对和平均相对误差为0.39%、11.28%,能实现无接触式提取水产养殖中鱼类表型比例。对比其他常见语义分割模型,平均交并比mean intersection over union,mIoU和平均像素准确率mean pixel accuracy,m PA最高,分别到达了87.92%、92.83%。VED-SegNet模型在环境复杂、多鱼重叠的...     

基于改进的轻量化卷积神经网络火龙果检测方法

在自然环境下对火龙果进行实时检测是实现火龙果自动化采摘的必要条件之一。该研究提出了一种轻量级卷积神经网络YOLOv4- LITE火龙果检测方法。YOLOv4集成了多种优化策略，YOLOv4的检测准确率比传统的YOLOv3高出10%。但是YOLOv4的骨干网络复杂，计算量大，模型体积较大，不适合部署在嵌入式设备中进行实时检测。将YOLOv4的骨干网络CSPDarknet-53替换为MobileNet-v3，MobileNet-v3提取特征可以显著提高YOLOv4的检测速度。为了提高小目标的检测精度，分别设置在网络第39层以及第46层进行上采样特征融合。使用2 513张不同遮挡环境下的火龙果图像作为数据集进行训练测试，试验结果表明，该研究提出的轻量级YOLOv4-LITE模型 Average Precision（AP）值为96.48%，F1值为95%，平均交并比为81.09%，模型大小仅为2.7 MB。同时对比分析不同骨干网络，MobileNet-v3检测速度大幅度提升，比YOLOv4的原CSPDarknet-53平均检测时间减少了132.33 ms。YOLOv4-LITE在GPU上检测一幅1 200×900的图像只需要2.28 ms，可以在自然环境下实时检测，具有较强的鲁棒性。相比现有的目标检测算法，YOLOv4-LITE的检测速度是SSD-300的9.5倍，是Faster-RCNN的14.3倍。进一步分析了多尺度预测对模型性能的影响，利用4个不同尺度特征图融合预测，相比YOLOv4-LITE平均检测精度提高了0.81%，但是平均检测时间增加了10.33 ms，模型大小增加了7.4 MB。因此，增加多尺度预测虽然提高了检测精度，但是检测时间也随之增加。总体结果表明，该研究提出的轻量级YOLOv4-LITE在检测速度、检测精度和模型大小方面具有显著优势，可应用于自然环境下火龙果检测。     

基于UANP-MT的半监督菜心杂草分割方法

杂草作为一种常见的农业问题,对农作物的生长造成比较严重的影响,控制和管理杂草是农业生产活动中的重要一环。近年来,随着无人机技术和人工智能技术的快速发展,基于无人机平台的特定区域杂草管理是目前除草作业的主流研究,而精确高效地对田间杂草进行识别和检测是实现自动化杂草管理的重要前提。但高效的识别模型往往意味着大量的农业数据。为了降低对农业标签数据的依赖性,该研究提出了一种UANP-MT (uncertainty aware and network perturbed mean teacher)的半监督语义分割网络。该模型基于PSPNet结构与MT (mean teacher)的思想,首先通过对教师网络做扩增输出,令该部分做出若干次推理并取其均值,以此来保证网络预测的鲁棒性,其次在网络的一致性学习部分构建不确定性系数来约束不同网络间的输出差异,提高预测的置信度和可靠性,从而提高模型的识别准确度。为了验证所提出的模型的有效性,设计消融试验,包括对网络参数的取值设置,特征提取网络backbone的选取,以及在不同数据量的数据集下对模型进行性能测试,试验过程中确定了模型的一些最佳的参数设置。结果表明...