基于深度学习的番茄授粉机器人目标识别与检测

为满足植物工厂中番茄智能化授粉作业的需要,解决目前机器人在授粉过程中因花朵小、姿态朝向各异而导致的检测精度不高和授粉策略不完善的问题,该研究提出一种由目标检测、花期分类和姿态识别相结合的番茄花朵检测分类算法--TFDC-Net（Tomato flower detection and classification network）。在花朵检测阶段,基于YOLOv5s对其网络进行改进,添加了卷积块注意力模块（Convolutional Block Attention Module,CBAM）及采用了加权框融合（Weighted Boxes Fusion,WBF）的方法,提出一种改进的YOLOv5s网络。该网络在使用线下数据增强的基础上训练得到ACW_YOLOv5s模型,该模型的准确率为0.957,召回率为0.942,mAP0.5为0.968,mAP0.5～0.95为0.62,各项指标相较于原网络模型分别提高了0.028,0.004,0.012,0.066。经测试表明,ACW_YOLOv5s模型解决了远处的小目标及被遮挡的目标漏检,重叠目标误检的问题。同时,为解决花朵不同花期和花蕊不同朝向的授粉问题,研究采用EfficientNetV2分类网络分别对3种不同花期和5种不同姿态的花朵进行训练得到花期分类模型及姿态识别模型,模型准确率分别为94.5%和86.9%,通过对目标进行花期分类和姿态识别判断是否对其进行授粉。为进一步验证分类模型的性能,分别选取300张花期图片和200张姿态图片对模型进行测试,花期分类模型和姿态分类模型的测试总体准确率分别为97%,90.5%。将TFDC-Net算法应用于自主研发的授粉机器人中并进行试验验证,结果表明,该算法能够完成对番茄花朵的目标检测,花期分类和姿态识别。再通过坐标转换实现目标定位,并对目标进行授粉。该研究为授粉机器人的目标检测与定位提供了一定的技术依据。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。     

基于改进Mask R-CNN的番茄侧枝修剪点识别方法

为解决番茄枝叶修剪机器人无法准确识别番茄侧枝修剪点的问题,提出基于改进Mask R-CNN模型的番茄侧枝修剪点的识别方法。将Mask R-CNN的主干网络ResNet50替换为MobileNetv3-Large来降低模型复杂度和提升运行速度,并对部分特征图添加ECA(Efficient Channel Attention)注意力机制,以提升模型精度;通过改进的Mask R-CNN模型预测番茄侧枝与主枝的分割掩膜和边框位置;针对部分单根枝条被分割成多段掩膜的问题,通过掩膜边界框宽高比区分侧枝和主枝,分析同一枝条相邻掩膜约束条件,然后将符合约束条件的掩膜进行合并连接;根据修剪点在主枝附近的特点确定修剪点所在端,然后确定靠近修剪端端点的中心点作为侧枝的修剪点。试验结果表明,改进的Mask R-CNN模型平均分割图片时间为0.319s,召回率和精确率分别为91.2%和88.6%,掩膜平均合并成功率为86.2%,修剪点识别平均准确率为82.9%。该研究为番茄枝叶修剪机器人的研发提供参考。     

基于吊蔓绳的温室番茄主茎秆视觉识别

为了精确识别番茄植株以供精确对靶喷施,该文提出一种基于温室吊蔓绳对番茄主茎进行检测识别的算法。通过分析番茄作物图像在HSI颜色空间的分布特性,基于H分量应用Otsu分割算法对番茄作物图像进行二值化处理,以突出图像中吊蔓绳区域。利用细化算法提取出吊蔓绳区域离散特征点簇,并采用最小二乘法直线拟合特征点簇获取吊蔓绳位置。试验结果表明,处理分辨率640×480像素的图像平均用时0.16s,对100张图像进行识别试验,正确率达93%,该算法提取吊蔓绳和番茄主茎间的最大距离偏差为48像素单位,能够准确识别番茄主茎秆,具备较强的鲁棒性。     

基于实例分割的柑橘花朵识别及花量统计

柑橘隔年结果现象严重,花量统计有助于果园的规划管理,并对产量预测有重要意义,但是柑橘单一植株花量巨大,花朵紧凑密集,花期树叶遮挡覆盖,对花量计算造成很大的阻碍。对此该研究提出基于实例分割的柑橘花朵识别与花量统计方法,以花期的柑橘树冠图像为样本进行花朵实例的识别及分割,通过对Mask R-CNN主体卷积部分和掩膜分支部分的优化,实现对复杂结构图像中密集小尺度柑橘花朵目标的高效检测、获取图像中可见花数量。结果显示,该方法花量识别神经网络的平均精度为36.3,花量计算误差为11.9%,对比未优化Mask R-CNN网络在训练和识别的时间效率上均有显著提升。该研究解决了柑橘花量统计难度高的问题,有助于柑橘早期测产和落花监测,并为花量控制提供决策依据。     

基于K-means算法的温室移动机器人导航路径识别

针对温室移动机器人机器视觉导航路径识别实时性差、受光照干扰影响严重等问题,首先,将HSI颜色空间3个分量进行分离,选取与光照信息无关且可以有效抑制噪声影响的色调分量H进行后续图像处理,以削弱光照对机器人视觉导航的不良影响;针对温室环境图像特有的颜色特征信息,引入K-means算法对图像进行聚类分割,将垄间道路信息与绿色作物信息各自聚类,再通过形态学腐蚀方法去除聚类后图像中存在的冗余、干扰信息,以获得完整的道路信息,与常用阈值分割方法相比,可降低因分割信息不明确而导致后续Hough变换进行直线拟合时需占据大量内存且计算量较大的问题,进而提高移动机器人路径识别的快速性,并适应温室作业机器人自主导航的高实时性要求。试验结果表明,该文方法在复杂背景与变光照条件下的温室作业环境中可大幅降低光照对机器人导航的影响,对于光照不均具有良好的鲁棒性,道路信息提取率可达95%。同时,其平均单幅图像处理时耗降低53.26%,可显著提高路径识别速度。该研究可为解决温室移动机器人机器视觉导航路径识别的鲁棒性及实时性问题提供参考。     

基于YOLO v4+HSV的成熟期番茄识别方法

为解决成熟番茄采摘识别中由于藤蔓、叶片、果实遮挡或光照影响而引起的误识别问题,该研究提出了一种基于YOLO v4与HSV（Hue, Saturation, Value）相结合的识别方法,以实现自然环境下成熟期番茄的准确识别。在YOLO v4网络的检测框内通过HSV方法对番茄的红色区域进行分割,并将分割部分面积在检测框中达到一定占比的番茄作为目标输出。通过对比不同占比下该算法对测试集的识别效果,将16%作为成熟期番茄识别算法的占比,该占比下YOLO v4+HSV算法的正确率为94.77%,在工作站中检测单幅图片的速度为25.86 ms。为验证算法的性能,对改进前后算法进行了比较,改进后的正确率比改进前提高了4.30个百分点,说明通过HSV处理能够提高原网络识别成熟期番茄的准确性。此外,为测试算法的实用性,统计了在不同类型设备上该算法从调用深度相机到检测到第一个目标番茄所用的时间,经计算,其在工作站上所用的平均时间为0.51 s,在微型工控机上为1.48 s,均可满足实际采摘需要。该研究直接面向果蔬实时采摘中的目标高效检测问题,其方法可为果蔬采摘的准确高效识别提供借鉴。     

基于双注意力语义分割网络的田间苗期玉米识别与分割

为实现复杂田间场景中幼苗期玉米和杂草的准确识别与区域划分,该研究提出改进的双注意力语义分割方法,通过获取形态边界实现玉米幼苗的识别与精细分割,在此基础上采用形态学处理方法识别图像中除玉米外的全部杂草区域。首先对6种当前最高性能的语义分割网络进行对比,确定模型原始架构;建立幼苗期玉米语义分割模型,包括改进深层主干网络增强特征,引入双注意力机制构建特征的场景语义依赖关系,以编码器-解码器结构组建模型并增加辅助网络优化底层特征,改进损失函数协调模型整体表现,制定改进的迁移学习策略;提出图像形态学处理方法,基于玉米像素分割结果,生成杂草分割图。测试结果表明,模型的平均交并比、平均像素识别准确率分别为94.16%和95.68%,相比于原网络分别提高1.47%和1.08%,识别分割速度可达15.9帧/s。该研究方法能够对复杂田间场景中的玉米和杂草进行准确识别与精细分割,在仅识别玉米的前提下识别杂草,有效减少图像标注量,避免田间杂草种类的多样性对识别精度的影响,解决玉米与杂草目标交叠在形态边界上难以分割的问题,研究结果可为智能除草装备提供参考。     

基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络（Shifted Window Transformer,Swin Transformer）的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入Swin Transformer主干并采用统一感知解析网络作为其高效语义分割框架;改进Swin Transformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51′10-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。     

基于RGB和深度双模态的温室番茄图像语义分割模型

图像语义分割作为计算机视觉领域的重要技术，已经被广泛用于设施环境下的植物表型检测、机器人采摘、设施场景解析等领域。由于温室环境下未成熟番茄果实与其茎叶之间具有相似颜色，会导致图像分割精度不高等问题。本研究提出一种基于混合Transformer编码器的“RGB+深度”（RGBD）双模态语义分割模型DFST（depth-fusion semantic transformer），试验在真实温室光照情况下获得深度图像，对深度图像做HHA编码并结合彩色图像输入模型进行训练，经过HHA编码的深度图像可以作为一种辅助模态与RGB图像进行融合并进行特征提取，利用轻量化的多层感知机解码器对特征图进行解码，最终实现图像分割。试验结果表明，DFST模型在测试集的平均交并比可达96.99%，对比不引入深度图像的模型，其平均交并比提高了1.37个百分点；对比使用卷积神经网络作为特征提取主干网络的RGBD语义分割模型，其平均交并比提高了2.43个百分点。结果证明，深度信息有助于提高彩色图像的语义分割精度，可以明显提高复杂场景语义分割的准确性和鲁棒性，同时也证明了Transformer结构作为特征提取网络在图像语义分割中也表现出了良好的性能，可为温室环境下的番茄图像语义分割任务提供解决方案和技术支持。     

基于面向通道分组卷积网络的番茄主要器官实时识别

番茄器官的实时准确识别是实现自动采摘、靶向施药等自动化生产的关键。该文提出一种基于面向通道分组卷积网络的番茄主要器官实时识别网络模型,该模型直接用特征图预测番茄器官目标边界和类型。以统计可分性、计算速度等为判据,并结合样本扩增训练,分析了该网络和几种典型网络在番茄器官图像处理上的性能,以此筛选出识别网络的基础结构,在基础结构后面分别附加带dropout层的面向通道分组卷积模块和全卷积层作为识别网络的总体架构。试验结果表明:用面向通道分组卷积网络作为识别网络的基础结构,可在显著提高网络召回率、识别速度和精度的前提下,大幅降低模型的大小,该结构网络对花、果、茎识别的平均精度分别为96.52%、97.85%和82.62%,召回率分别为77.39%、69.33%和64.23%,识别速度为62帧/s;与YOLOv2相比,该文识别网络召回率提高了14.03个百分点,精度提高了2.51个百分点。     

基于改进FCN-8s的灵武长枣图像分割方法

针对不同成熟度灵武长枣图像中多尺度长枣目标的分割问题,该研究提出了一种基于改进FCN-8s的灵武长枣图像分割方法。首先,建立包含不同成熟度灵武长枣图像的数据集。其次,提出一个多尺度特征提取模块,该模块以3×3卷积为主分支,增加1×1卷积和5×5深度可分离卷积作为辅助分支,以提取灵武长枣图像中的多尺度特征。然后,用多尺度特征提取模块替换FCN-8s中的3×3卷积,又对FCN-8s网络结构做了一定的改进,得到了改进FCN-8s。最后,在灵武长枣数据集上进行试验,结果表明,改进FCN-8s的枣类交并比、平均交并比、像素准确率、召回率和像素准确率、召回率的调和平均值F_1分数分别达到了93.50%、96.41%、98.44%、97.86%和98.15%,比原FCN-8s的各项评价指标分别高出了11.31、6.20、1.51、5.21和3.14个百分点。网络参数量为5.37×106,分割速度为16.20帧/s。改进FCN-8s满足了灵武长枣智能化采摘机器人对视觉识别系统的要求,为实现灵武长枣的智能化采摘提供了技术支持。     

多尺度融合卷积神经网络的黄瓜病害叶片图像分割方法

黄瓜病害叶片中的病斑区域分割是病害检测与类型识别的关键步骤,分割效果将直接影响病害检测和识别的精度。针对传统方法对于黄瓜病害叶片图像分割精度低和泛化能力弱等问题,提出一种基于多尺度融合卷积神经网络(Multi-ScaleFusionConvolutionalNeuralNetworks,MSF-CNNs)的黄瓜病害叶片分割方法。MSF-CNNs由编码网络(EncoderNetworks,ENs)和解码网络(DecoderNetworks,DNs)两部分组成,其中ENs为一个多尺度卷积神经网络组成,用于提取病害叶片图像的多尺度信息;DNs基于九点双线性插值算法,用于恢复输入图像的尺寸和分辨率。在MSF-CNNs模型训练的过程中,使用一种渐进微调的迁移学习方法加速模型的训练,提高模型的分割精度。在复杂背景下的作物病害叶片图像数据库上进行病害叶片图像分割试验,并与现有的分割方法全卷积网络(FullyConvolutional Networks,FCNs)、Seg Net、U-Net、Dense Net进行比较。结果表明,该MSF-CNNs能够满足复杂环境下的黄瓜病害叶片图像分割需求,像素分类精度为92.38%、平均分割准确率为93.12%、平均交并比为91.36%、频率加权交并比为89.76%。与FCNs、Seg Net、U-Net、Dense Net相比较,MSF-CNNs的平均分割精度分别提高了13.00%、10.74%、10.40%、10.08%和6.40%。使用渐进学习训练方式后,训练时间缩短了0.9 h。该方法为进一步的黄瓜病害检测和识别方法研究提供了参考。     

基于改进YOLOv4的轻量化菠萝苗心检测算法

当前菠萝催花作业以人工喷洒为主，生产效率低、劳动强度大。菠萝苗心位置的精准识别和定位是实现机械化、智能化菠萝催花的核心问题。该研究在YOLOv4目标识别算法的基础上，选择GhostNet作为主干特征提取网络，构建了一种混合网络模型，并在颈部网络中融合深度可分离卷积与轻量级的注意力模块。改进后的模型相较于YOLOv4模型的总参数量减少70%。与YOLOv4、Faster R-CNN和CenterNet 3个模型进行检测对比试验，结果可得：改进模型在菠萝植株种植密集与稀疏的条件下识别精度分别为94.7%和95.5%，实时识别速度可达27帧/s，每张图像平均检测时间为72 ms，相比常规YOLOv4模型用时缩短23%。总体性能表现均优于对比组的目标检测模型。总的来说，改进模型YOLOv4-GHDW在一定程度上实现了检测速度、识别精度和模型体量三者之间平衡，能够在实际种植环境下对菠萝苗心有较好的识别效果。研究结果可为智能化菠萝精准催花设备研发提供视觉技术支持。     

基于深度卷积神经网络的番茄主要器官分类识别方法

为实现番茄不同器官的快速、准确检测,提出一种基于深度卷积神经网络的番茄主要器官分类识别方法。在VGGNet基础上,通过结构优化调整,构建了10种番茄器官分类网络模型,在番茄器官图像数据集上,应用多种数据增广技术对网络进行训练,测试结果表明各网络的分类错误率均低于6.392%。综合考虑分类性能和速度,优选出一种8层网络用于番茄主要器官特征提取与表达。用筛选出的8层网络作为基本结构,设计了一种番茄主要器官检测器,结合Selective Search算法生成番茄器官候选检测区域。通过对番茄植株图像进行检测识别,试验结果表明,该检测器对果、花、茎的检测平均精度分别为81.64%、84.48%和53.94%,能够同时对不同成熟度的果和不同花龄的花进行有效识别,且在检测速度和精度上优于R-CNN和Fast R-CNN。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。     

设施条件下不同桃品种的开花生物学特性

桃是主要温带水果之一, 在全球范围内广泛栽培。中国桃栽培面积和产量均居世界第一位。近十年来, 随着设施农业的迅猛发展, 桃设施栽培技术在中国北方地区逐步推广。但在设施桃的生产过程中, 常存在授粉不足、座果率低下等诸多问题。本研究以设施桃主栽品种"大久保"、"早露蟠"、"瑞光5号"和"90342"为材料, 在北京市平谷区进行了不同桃品种的开花动态、花药开裂、花粉数量、花粉活力和柱头可授性等生物学特性观察, 旨在为设施桃生产的科学管理和有效授粉提供依据。结果表明: 4个桃品种的始花期顺序依次为"瑞光5号"、"早露蟠"、"大久保"和"90342", 最早和最晚相差8 d; 单花盛开期"90342"仅为2 d, 其他3个品种桃为4~5 d。不同品种花药开裂起始时间、持续时间及高峰期不同; 单花花粉数量在不同品种间差异显著, "90342"最高, 为100 360±8 017, 其次为"大久保"91 485±8 002和"瑞光5号"73 245±5 034, "早露蟠"花粉量最少, 为59 609±5 048; "大久保"、"瑞光5号"和"90342"的花粉活力在花朵全开当天最强, 分别为44.8%±3.1%、52.4%±4.2%、32.8%±4.5%, "早露蟠"在花后第1 d花粉活力达到最高值63.3%±3.7%; "瑞光5号"与"90342"的花粉寿命仅为3 d, 而"大久保"与"早露蟠"的花粉寿命达6~7 d; "大久保"、"早露蟠"和"瑞光5号"的柱头可授性在花后3~4 d最强, 可授期为6~7 d, "90342"柱头可授性在花后第2 d最强, 可授期仅为3 d。本研究为设施条件下4个桃品种的传粉生态学研究及设施桃花期管理提供了科学依据, 也为进一步探索授粉作用机制奠定了基础。