基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位

无损收获是采摘机器人的研究难点之一,葡萄采摘过程中容易因机械碰撞而损伤果实,为便于机器人规划出免碰撞路径,提出一种基于双目立体视觉的葡萄包围体求解与定位方法。首先通过图像分割获得葡萄图像质心及其外接矩形,确定果梗感兴趣区域并在该区域内进行霍夫直线检测,通过寻找与质心距离最小的直线来定位果梗上的采摘点,运用圆检测法获取外接矩形区域内果粒的圆心和半径。然后运用归一化互相关的立体匹配法求解采摘点和果粒圆心的视差,利用三角测量原理求出各点的空间坐标。最后以采摘点的空间坐标为原点构建葡萄空间坐标系,求解葡萄最大截面,再将该截面绕中心轴旋转360°得到葡萄空间包围体。试验结果表明:当深度距离在1 000 mm以内时,葡萄空间包围体定位误差小于5 mm,高度误差小于4.95%,最大直径误差小于5.64%,算法时间消耗小于0.69 s。该研究为葡萄采摘机器人的防损采摘提供一种自动定位方法。     

番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。     

荔枝采摘机器人双目视觉的动态定位误差分析

扰动引起的随机误差成为采摘机器人视觉定位的难题。为了探索荔枝采摘机器人视觉定位误差,首先用双目视觉系统和模拟扰动的震动平台对荔枝结果母枝采摘点的三维坐标进行定位试验,检测其实际位置,获得误差数据;然后,提出了一种动态定位误差分析方法,根据误差变化规律将动态定位误差划分为系统误差和随机误差;最后,用统计方法对2类误差分别进行定量分析和评价。结果表明,定位距离为600~1 000 mm时,系统误差与动态定位误差的变化趋势基本一致,视觉深度方向、水平方向最大动态定位误差分别为58.8和17.3 mm。系统误差置信区间较窄,视觉深度方向系统误差与定位距离呈较强的线性相关性,水平方向则表现为非线性。扰动下的随机定位误差服从正态分布,视觉深度方向、水平方向间的随机误差相关性较弱。视觉深度方向受扰动的影响较大,随机误差远大于水平方向,且不确定度较高。研究结果为荔枝采摘机器人视觉定位系统校准和动态定位方案设计提供依据,为机构容错纠错提供理论依据和实践指导。     

基于深度学习的葡萄果梗识别与最优采摘定位

针对葡萄采摘机器人在采摘作业中受果园环境干扰,难以准确识别与分割葡萄果梗及定位采摘点的问题,该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络(Mask Region with Convolutional Neural Network,Mask R-CNN)模型对果梗进行识别与粗分割;然后结合阈值分割思想对果梗的色调、饱和度、亮度(Hue Saturation Value,HSV)色彩空间进行分段式提取,取每段色彩平均值作为该段果梗基准颜色阈值,利用区域生长算法对果梗进行精细化分割;最后计算果梗图像区域的质心,并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明,在不同天气光照下该方法对葡萄果梗的检测精确率平均值为88%;在果梗成功识别后最优采摘点定位准确率达99.43%,单幅图像的果梗采摘定位平均耗时为4.90s,对比改进前Mask R-CNN检测耗时减少了0.99 s,F1-得分提高了3.24%,检测效率明显提升,该研究为葡萄采摘机器人提供了一种采摘点定位方法。     

基于Retinex图像增强的不同光照条件下的成熟荔枝识别

为了满足自然环境下荔枝采摘机器人视觉定位系统的有效性和实时性的要求,针对不同光照条件的荔枝彩色图像,采用基于双边滤波的Retinex图像增强算法凸显图像中的荔枝果实和果梗,对增强处理后的图像在HSI颜色空间中进行H分量旋转的处理,再对旋转处理后的H分量进行Otsu自动阈值分割去除荔枝图像果实和果梗外的复杂背景;然后通过将双三次插值算法和传统的模糊C均值（FuzzyC-Mean）算法融合,对去背景后的荔枝图像在YCbCr颜色空间中进行Cr分量模糊聚类分割,实现荔枝果实和果梗的识别。荔枝图像的分割试验结果表明：该算法对晴天顺光、逆光、遮阴、阴天顺光等光照条件的荔枝图像能够有效地分割,对阴天弱光照、果实被遮阴条件下的荔枝也能较好的识别,并保持荔枝果实和果梗区域的完整性,4种光照条件荔枝图像分割正确率分别为96%、90%、89.3%和88.9%,成熟荔枝识别的正确率达到了90.9%,该研究为水果采摘机器人的室外作业的实时性和有效性提供指导。     

自然环境下葡萄采摘机器人采摘点的自动定位

针对葡萄果梗颜色复杂多变、轮廓不规则等影响因素使得采摘机器人难以准确对采摘点进行定位的问题,该文提出一种基于改进聚类图像分割和点线最小距离约束的采摘点定位新方法。首先通过分析葡萄图像的颜色空间,提取最能突显夏黑葡萄的HSI色彩空间分量H,运用改进的人工蜂群优化模糊聚类方法对葡萄果图像进行分割;然后对分割图像进行形态学去噪处理,提取最大连通区域,计算该区域质心、轮廓极值点、外接矩形;再根据质心坐标与葡萄簇边缘信息确定采摘点的感兴趣区域,在区域内进行累计概率霍夫直线检测,求解所有检测得出的直线到质心之间的距离,最后选取点线距离最小的直线作为采摘点所在线,并取线段中点坐标作为采摘点。以从晴天顺光、晴天遮阴、阴天光照下采集的300幅夏黑葡萄进行分类试验,结果表明,该方法的采摘点定位准确率达88.33%,平均定位时间为0.3467 s,可满足采摘机器人对采摘点的定位需求,为葡萄采摘机器人提供了一种新的采摘点求解方法。     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

自然场景图像中的重叠蜜柚识别及试验

重叠蜜柚目标的准确分离和蜜柚果梗的定位是实现采摘自动化必须解决的两个关键问题。现有的苹果、柑橘等重叠果实分离方法不适用于重叠蜜柚,且无果梗定位功能。针对以上问题,本文提出了一种结合渐进式中心定位的重叠蜜柚分离方法和果梗定位方法。首先利用主成分分析方法提取蜜柚区域、滤除背景并对图像中的重叠蜜柚进行初步分离;接着,对重叠蜜柚区域采用渐进式中心定位方法得到各个蜜柚的中心;然后,利用区域边缘点到其相应的不同中心点的距离大小的变化规律实现重叠蜜柚的分离;最后,利用前述的中心点结合蜜柚的形状特征,定位出遮挡程度较小的蜜柚果梗。在50张自然场景下的图像上进行试验,结果表明在有阴影、小目标、遮挡和重叠等复杂环境下,该方法的平均识别率为94.02%。同时,对于果梗未被遮挡且离摄像头较近的蜜柚,也给出了准确的果梗区域。在利用蜜柚模型搭建的识别自动化试验平台上进行试验,结果表明采摘机器人能够有效识别并分离重叠蜜柚、定位果梗。本研究可为蜜柚采摘机器人准确识别重叠果实提供参考。     

荔枝树枝能量传递特性与去梗式振动采摘作业参数

为评价荔枝去梗式振动采摘效果,开展了树枝能量传递特性研究,利用一种动-定梳排组合式采摘机构进行了荔枝采摘试验与品质对比分析。研究结果表明,激振点在靠近外侧树冠位置的分支时,传递到末端枝条的振动能量衰减少,动-定梳排组合采摘方式通过激励相对固定的挂果枝条可有效利用振动能量。综合加权评分法确定的采摘机构的最佳作业参数条件:梳排振动频率为26.67 Hz,定梳排间距为20 mm,动梳排摆动角度为40?,试验测定的生产率为4.1 kg/min,破损率为5.05%。振动采摘和人工采摘2种采摘方式的荔枝色差值、可溶性固形物含量和可滴定酸含量在8 d的贮藏期内无显著性差异,即振动采摘未对荔枝果实品质产生不良影响。该研究可为荔枝采收机械的设计与优化提供参考。     

基于视觉显著性改进的水果图像模糊聚类分割算法

准确分割水果图像是采摘机器人实现视觉定位的关键技术。该文针对传统模糊聚类对初始聚类中心敏感、计算量大和易出现图像过分割等问题,结合机器人的视觉特性,提出了一种基于多尺度视觉显著性改进的水果图像模糊聚类分割算法。首先,选择适当的颜色模型把彩色水果图像转换为灰度图像;然后对灰度图像做不同尺度的高斯滤波处理,基于视觉显著性的特点,融合了多个不同尺度的高斯滤波图像,形成图像聚类空间;最后,用直方图和模拟退火粒子群算法对图像的传统模糊聚类分割算法进行了改进,用改进的算法分别对采集到的100张成熟荔枝和柑橘图像,各随机选取50张,进行图像分割试验。试验结果表明:该方法对成熟荔枝和柑橘的图像平均果实分割率分别为95.56%和93.68%,平均运行时间分别为0.724和0.790s,解决了水果图像过分割等问题,满足实际作业中采摘机器人对果实图像分割率和实时性的要求,为图像分割及其实时获取提供了一种新的基础算法,为视觉精确定位提供了有效的试验数据。     

基于关节构形空间的混联采摘机械臂避障路径规划

针对混联采摘机器人在非结构性环境中进行避障采摘作业的要求,该文提出了一种基于关节构形空间的混联采摘机械臂避障路径规划算法。根据机械臂和障碍物的几何特征,对机械臂及障碍物模型进行合理简化,通过分析末端执行器目标点和串联机械臂结构参数选取合适的并联机械臂动平台目标点,然后采用遍历法构建串联机械臂关节构形空间,并利用快速扩展随机树(rapidly-exploring random tree,RRT)算法搜寻串联机械臂无撞路径,再通过同样的方法获得并联机械臂关节空间障碍物映射模型和无撞路径,最后综合串、并联机械臂的无撞路径,获得混联机械臂整体的避障路径。仿真和试验结果表明,文中所提出的算法搜索的避障路径能够驱动采摘机械臂避开工作空间内的障碍物,引导末端执行器到达目标点。     

番茄串收机械臂运动规划方法与试验

番茄串的采收环境复杂,果实体积相对较大,机械臂采收运动路径规划不仅要考虑如何采摘,还需要考虑采摘后如何避开障碍,并从复杂环境中提取出番茄串。为此,该研究以温室栽培的番茄串采摘为对象,提出了基于空间分割的实时运动路径规划算法。首先通过聚类拟合环境中的枝条,简化空间障碍物;然后分割采摘空间,筛选可行采摘空间,并引入评价函数选取最优采摘空间,指导机械臂以合理有效的姿态完成采摘;最后在采摘任务的基础上加入实时避障子任务,引导机械臂躲避障碍完成任务,保证采摘番茄串任务安全无损。在以上研究的基础上,通过大量采收试验验证算法的有效性。试验结果表明:通过基于空间分割的实时运动路径规划算法,采收机器人的单串番茄采摘时间为12.51 s,且采摘成功率接近100%。与目前主流的采样算法RRT*-connect相比,单串番茄的采摘时间降低了31.23%,大幅提高了采摘效率。     

基于Sylvester方程变形的荔枝采摘机器人手眼标定方法

针对视觉荔枝采摘机器人的Eye-in-Hand视觉与机器人关联方式的手眼标定问题,该文提出一种基于优化的求解齐次变换矩阵方程的手眼标定方法。该方法通过机器人带动其臂上的双目相机从多个位置观测标定板,使用Sylvester方程变形对手眼标定近似方程线性化,再对简单的初值进行优化计算,最终得到精确的标定结果。该方法的软件用C++/Open CV开发实现,并进行了多个试验。试验结果表明,视觉与机器人关联后,定位误差与机器人运动次数相关,当距目标1 m左右,静态时的视觉系统误差均值为0.55 mm;动态工作时,视觉关联机器人重复定位误差的均值为2.93 mm,标准差为0.45 mm,符合具有容错功能的视觉荔枝采摘机器人的实际使用需求。使用基于Sylvester方程变形的手眼标定方法标定的视觉荔枝采摘机器人,在野外环境下,总体采摘成功率达到76.5%,视觉系统成功识别、定位采摘点的情况下,采摘成功率达92.3%。     

连续体采摘机械臂末端静态承载姿态等效模型建立与验证

针对连续体采摘机械臂收获作业中末端负载时的姿态变形问题,该文提出一种求解连续体采摘机械臂末端负载姿态变形的等效方法,结合大挠度变形理论和单位力原理建立了连续体采摘机械臂负载姿态变形的标准数学模型函数,通过建立系统性多参数承载性能试验,验证了所提出的弯曲姿态变形函数模型的准确性,其误差均在7.8%范围内。分析归纳了连续体采摘机械臂在不同弯曲角参数和末端负载质量参数对模型误差的影响规律,并根据负载性能试验结果得出分析可知,连续体采摘机械臂末端负载时为50 g时,其理论模型姿态与试验姿态末端位置误差最小可至3.8%,负载质量的增加至150 g时,其误差最小可至7.2%,该研究可为连续体采摘机械臂收获作业的准确定位提供可靠的控制理论基础。     

大视场下荔枝采摘机器人的视觉预定位方法

机器人采摘荔枝时需要获取多个目标荔枝串的空间位置信息,以指导机器人获得最佳运动轨迹,提高效率。该文研究了大视场下荔枝采摘机器人的视觉预定位方法。首先使用双目相机采集荔枝图像;然后改进原始的YOLOv3网络,设计YOLOv3-DenseNet34荔枝串检测网络;提出同行顺序一致性约束的荔枝串配对方法;最后基于双目立体视觉的三角测量原理计算荔枝串空间坐标。试验结果表明,YOLOv3-DenseNet34网络提高了荔枝串的检测精度与检测速度;平均精度均值(mean average precision,m AP)达到0.943,平均检测速度达到22.11帧/s。基于双目立体视觉的荔枝串预定位方法在3 m的检测距离下预定位的最大绝对误差为36.602 mm,平均绝对误差为23.007 mm,平均相对误差为0.836%,满足大视场下采摘机器人的视觉预定位要求,可为其他果蔬在大视场下采摘的视觉预定位提供参考。     

自然光照条件下采摘机器人果实识别的表面阴影去除方法

有效的阴影检测和去除算法会大大提高自然环境下果实识别算法的性能,为农业智能化提供技术支持。该研究采用超像素分割的方法,将一张图像分割成多个小区域,在对图像进行超像素分割的基础上,对自然光照下的果园图像阴影区域与非阴影区域进行对比分析,探索8个自定义特征用于阴影检测。然后采用SVM的方法,结合8个自主探索的自定义特征,对图像中每个超像素分割的小区域进行检测,判断每个小区域是否处于阴影中,再使用交叉验证方法进行参数优化。根据Finlayson的二维积分算法策略,对检测的每一个阴影区域进行阴影去除,获得去除阴影后的自然光照图像。最后进行阴影检测的识别准确性试验,试验结果表明,本研究的阴影检测算法的平均识别准确率为83.16%,经过阴影去除后,图像的阴影区域亮度得到了提高,并且整幅图像的亮度更为均匀。该研究可为自然环境下机器人识别果实及其他工农业应用场景提供技术支持。