基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

基于级联视觉检测的樱桃番茄自动采收系统设计与试验

樱桃番茄串生长姿态多样、果实成熟度不一，采摘机器人进行“粒收”作业时，常面临果梗干涉末端执行器、成熟度判断错误等问题，导致采摘效率低下、难以有效实现分级采收。针对上述问题，该研究提出一种级联视觉检测流程，包括采收目标检测、目标果实特性判别、果实与果梗位置关系判断3个关键环节。首先根据农艺要求按成熟度将番茄果实分为4个等级，引入YOLOv5目标检测模型对番茄串和番茄果实进行检测并输出成熟度等级，实现分期采收。然后对果实与果梗的相对位置进行判断，利用MobileNetv3网络模型对膨胀包围盒进行果实与果梗相对位置关系判断，实现末端执行器采摘位姿控制。日光温室实际测试结果表明，本文提出的级联检测系统平均推理用时22ms，在IOU(intersectionoverunion)阈值为0.5的情况下，樱桃番茄串与果实的平均检测精度达到89.9%，满足采摘机器人的视觉检测精度和实时性要求，相比末端执行器以固定角度靠近待采目标的方法，本文方法采收效率提升28.7个百分点。研究结果可为各类果蔬采摘机器人研究提供参考。     

并联机器人串类水果抓取模型及抓取位姿计算

针对随机放置串类水果图像中主果梗和非主果梗间特征区别不明显、平面轮廓法获取的机器人抓取位姿信息较少的问题,该文构建了并联机器人串类水果三维抓取模型,并提出一种基于主果梗骨架和三维抓取模型的4-R(2-SS)并联机器人随机放置串类水果抓取位姿计算方法,以获取较高精度、包含较多信息的抓取位姿,进一步提高机器人对串类水果的抓取成功率。采用果粒和果梗区域的轮廓间距构建用于提取串类水果果梗轮廓的形态学图像分割法,并基于多维特征向量和高斯混合模型聚类算法提取主果梗;根据主果梗三维位姿和机器人夹持机构特征构建4种基于主果梗骨架的随机放置串类水果三维抓取模型,获取夹持机构的空间位置、绕Z轴的旋转角度以及手指开口宽度的抓取位姿信息。将提出的抓取位姿计算方法应用于课题组研制的4-R(2-SS)并联机器人串类水果机器视觉自动分拣系统进行试验验证。试验结果表明,相对于基于平面轮廓的抓取位姿获取方法,基于该文方法的有分支主果梗和无分支主果梗串类水果的抓取成功率分别提高14和12个百分点,平均抓取成功率提高13个百分点。该文提出的抓取位姿计算方法可有效提高4-R(2-SS)并联机器人机器视觉系统对随机放置串类水果抓取位姿的获取精度,有助于进一步实现串类水果的准确快速自动分拣。     

基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。     

基于机器视觉的番茄多目标提取与匹配

果实的提取和匹配是番茄采摘机器人进行番茄定位和采摘的基础。为解决获取图像中多个成熟番茄粘连或被遮挡的情况下果实的提取和匹配问题,该文提出了使用局部极大值法和随机圆环变换检测圆算法结合进行目标提取,再使用SURF算法进行目标匹配的算法。该方法首先基于颜色对番茄进行分割提取,然后使用局部极大值法对番茄个数进行估计,结合番茄区域面积进行半径估计,之后通过随机圆环变换算法检测番茄中心和半径进行目标定位,再使用SURF算法进行双目目标匹配的算法。该方法在一定程度上解决了复杂自然环境下,多个番茄的提取和图像特征匹配的问题,并通过试验验证了其有效性和准确性,可为采摘机器人目标识别技术的研究提供参考。     

自然环境下葡萄采摘机器人采摘点的自动定位

针对葡萄果梗颜色复杂多变、轮廓不规则等影响因素使得采摘机器人难以准确对采摘点进行定位的问题,该文提出一种基于改进聚类图像分割和点线最小距离约束的采摘点定位新方法。首先通过分析葡萄图像的颜色空间,提取最能突显夏黑葡萄的HSI色彩空间分量H,运用改进的人工蜂群优化模糊聚类方法对葡萄果图像进行分割;然后对分割图像进行形态学去噪处理,提取最大连通区域,计算该区域质心、轮廓极值点、外接矩形;再根据质心坐标与葡萄簇边缘信息确定采摘点的感兴趣区域,在区域内进行累计概率霍夫直线检测,求解所有检测得出的直线到质心之间的距离,最后选取点线距离最小的直线作为采摘点所在线,并取线段中点坐标作为采摘点。以从晴天顺光、晴天遮阴、阴天光照下采集的300幅夏黑葡萄进行分类试验,结果表明,该方法的采摘点定位准确率达88.33%,平均定位时间为0.3467 s,可满足采摘机器人对采摘点的定位需求,为葡萄采摘机器人提供了一种新的采摘点求解方法。     

基于多目标识别的葡萄果串采摘点定位方法

为减少采摘点定位不当导致末端碰撞损伤结果枝与果串，致使采摘失败及损伤率提高等问题，该研究提出了基于深度学习与葡萄关键结构多目标识别的采摘点定位方法。首先，通过改进YOLACT++模型对结果枝、果梗、果串等葡萄关键结构进行识别与分割；结合关键区域间的相交情况、相对位置，构建同串葡萄关键结构从属判断与合并方法。最后设计了基于结构约束与范围再选的果梗低碰撞感兴趣区域(region of interest, ROI)选择方法，并以该区域果梗质心为采摘点。试验结果表明，相比于原始的YOLACT++，G-YOLACT++边界框和掩膜平均精度均值分别提升了0.83与0.88个百分点；对单串果实、多串果实样本关键结构从属判断与合并的正确率分别为88%、90%，对关键结构不完整的果串剔除正确率为92.3%；相较于以ROI中果梗外接矩形的中心、以模型识别果梗的质心作为采摘点的定位方法，该研究采摘点定位方法的成功率分别提升了10.95、81.75个百分点。该研究为葡萄采摘机器人的优化提供了技术支持，为非结构化环境中的串类果实采摘机器人的低损收获奠定基础。     

采摘机械手对扰动荔枝的视觉定位

为了解决采摘机器人在自然环境中对扰动状态荔枝的视觉精确定位问题,该文分析机械手采摘过程中荔枝产生扰动的因素,设计制造了模拟荔枝振动的试验平台,该试验平台通过改变方向、振频、振幅等振动条件来模拟采摘过程中的扰动环境;结合振动平台运动参数,提出了双目立体视觉系统采集扰动状态的荔枝图像方法,在HSI颜色空间中对预处理后荔枝图像利用模糊C均值聚类法(FCM,fuzzyC-means)分割荔枝果实和果梗,然后利用Hough变换算法进行直线拟合确定有效的果梗采摘区域和采摘点,对多帧图像中采摘点坐标取平均值,然后进行三维重建确定空间采摘点坐标。荔枝扰动状态的视觉定位试验结果表明,空间定位深度值误差小于6cm,荔枝采摘机械手能实现有效采摘,该研究为机械手实际作业提供指导。     

基于Retinex图像增强的不同光照条件下的成熟荔枝识别

为了满足自然环境下荔枝采摘机器人视觉定位系统的有效性和实时性的要求,针对不同光照条件的荔枝彩色图像,采用基于双边滤波的Retinex图像增强算法凸显图像中的荔枝果实和果梗,对增强处理后的图像在HSI颜色空间中进行H分量旋转的处理,再对旋转处理后的H分量进行Otsu自动阈值分割去除荔枝图像果实和果梗外的复杂背景;然后通过将双三次插值算法和传统的模糊C均值（FuzzyC-Mean）算法融合,对去背景后的荔枝图像在YCbCr颜色空间中进行Cr分量模糊聚类分割,实现荔枝果实和果梗的识别。荔枝图像的分割试验结果表明：该算法对晴天顺光、逆光、遮阴、阴天顺光等光照条件的荔枝图像能够有效地分割,对阴天弱光照、果实被遮阴条件下的荔枝也能较好的识别,并保持荔枝果实和果梗区域的完整性,4种光照条件荔枝图像分割正确率分别为96%、90%、89.3%和88.9%,成熟荔枝识别的正确率达到了90.9%,该研究为水果采摘机器人的室外作业的实时性和有效性提供指导。     

自然环境下贴叠葡萄串的识别与图像分割算法

针对自然环境下贴叠葡萄串难以识别与分割的问题,该文首先提取HSV颜色空间中的H分量,获取贴叠葡萄串区域,分析该区域长宽比从而判定葡萄串的贴叠性质;提取葡萄串图像轮廓信息,获取轮廓拐点与类圆心点信息;利用拐点与中心点之间的斜率判定目标葡萄串所在位置。然后,利用Chan-Vese模型进行葡萄串的迭代识别,并结合拐点信息获得重叠边界的轮廓信息。最后,将重叠边界轮廓与图像轮廓进行融合,实现目标葡萄串识别。试验结果表明,该文方法的平均精准度为89.71%,平均假阳率为4.24%,识别成功率为90.91%,与现有方法相比,该文方法可实现完整目标葡萄串的识别与分割,并提高了识别与分割的精准度,为葡萄采摘机器人成功采收贴叠葡萄串提供切实可行的算法。     

基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位

无损收获是采摘机器人的研究难点之一,葡萄采摘过程中容易因机械碰撞而损伤果实,为便于机器人规划出免碰撞路径,提出一种基于双目立体视觉的葡萄包围体求解与定位方法。首先通过图像分割获得葡萄图像质心及其外接矩形,确定果梗感兴趣区域并在该区域内进行霍夫直线检测,通过寻找与质心距离最小的直线来定位果梗上的采摘点,运用圆检测法获取外接矩形区域内果粒的圆心和半径。然后运用归一化互相关的立体匹配法求解采摘点和果粒圆心的视差,利用三角测量原理求出各点的空间坐标。最后以采摘点的空间坐标为原点构建葡萄空间坐标系,求解葡萄最大截面,再将该截面绕中心轴旋转360°得到葡萄空间包围体。试验结果表明:当深度距离在1 000 mm以内时,葡萄空间包围体定位误差小于5 mm,高度误差小于4.95%,最大直径误差小于5.64%,算法时间消耗小于0.69 s。该研究为葡萄采摘机器人的防损采摘提供一种自动定位方法。     

番茄串收机械臂运动规划方法与试验

番茄串的采收环境复杂,果实体积相对较大,机械臂采收运动路径规划不仅要考虑如何采摘,还需要考虑采摘后如何避开障碍,并从复杂环境中提取出番茄串。为此,该研究以温室栽培的番茄串采摘为对象,提出了基于空间分割的实时运动路径规划算法。首先通过聚类拟合环境中的枝条,简化空间障碍物;然后分割采摘空间,筛选可行采摘空间,并引入评价函数选取最优采摘空间,指导机械臂以合理有效的姿态完成采摘;最后在采摘任务的基础上加入实时避障子任务,引导机械臂躲避障碍完成任务,保证采摘番茄串任务安全无损。在以上研究的基础上,通过大量采收试验验证算法的有效性。试验结果表明:通过基于空间分割的实时运动路径规划算法,采收机器人的单串番茄采摘时间为12.51 s,且采摘成功率接近100%。与目前主流的采样算法RRT*-connect相比,单串番茄的采摘时间降低了31.23%,大幅提高了采摘效率。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。