采摘机械手对扰动荔枝的视觉定位

为了解决采摘机器人在自然环境中对扰动状态荔枝的视觉精确定位问题,该文分析机械手采摘过程中荔枝产生扰动的因素,设计制造了模拟荔枝振动的试验平台,该试验平台通过改变方向、振频、振幅等振动条件来模拟采摘过程中的扰动环境;结合振动平台运动参数,提出了双目立体视觉系统采集扰动状态的荔枝图像方法,在HSI颜色空间中对预处理后荔枝图像利用模糊C均值聚类法(FCM,fuzzyC-means)分割荔枝果实和果梗,然后利用Hough变换算法进行直线拟合确定有效的果梗采摘区域和采摘点,对多帧图像中采摘点坐标取平均值,然后进行三维重建确定空间采摘点坐标。荔枝扰动状态的视觉定位试验结果表明,空间定位深度值误差小于6cm,荔枝采摘机械手能实现有效采摘,该研究为机械手实际作业提供指导。     

基于Sylvester方程变形的荔枝采摘机器人手眼标定方法

针对视觉荔枝采摘机器人的Eye-in-Hand视觉与机器人关联方式的手眼标定问题,该文提出一种基于优化的求解齐次变换矩阵方程的手眼标定方法。该方法通过机器人带动其臂上的双目相机从多个位置观测标定板,使用Sylvester方程变形对手眼标定近似方程线性化,再对简单的初值进行优化计算,最终得到精确的标定结果。该方法的软件用C++/Open CV开发实现,并进行了多个试验。试验结果表明,视觉与机器人关联后,定位误差与机器人运动次数相关,当距目标1 m左右,静态时的视觉系统误差均值为0.55 mm;动态工作时,视觉关联机器人重复定位误差的均值为2.93 mm,标准差为0.45 mm,符合具有容错功能的视觉荔枝采摘机器人的实际使用需求。使用基于Sylvester方程变形的手眼标定方法标定的视觉荔枝采摘机器人,在野外环境下,总体采摘成功率达到76.5%,视觉系统成功识别、定位采摘点的情况下,采摘成功率达92.3%。     

基于视觉伺服的草莓采摘机器人果实定位方法

为解决基于手眼系统的视觉伺服方法在草莓采摘机器人应用中存在的视觉信息反馈延迟大、频率低以及深度信息无法确定等带来的定位耗时长、精度低的问题,采用摄像机曝光信号触发控制卡进行高速位置锁存,结合位置传感器的反馈信息,来减少定位耗时;采用基于运动恢复结构的方法,提高果实采摘参数的精度。在垄坡和摄像机像平面的夹角为±10°范围内的情况下,针对包含1~3粒成熟草莓的果实域,采用直角坐标式机械臂草莓采摘机器人样机进行了定位试验。试验结果表明:定位时间在0.633~0.886 s之间;草莓深度信息的相对误差在-4.34%~0.95%范围内。     

用动态图层融合与纹理-灰度梯度能量模型的果树行识别

为解决果园机器视觉导航中果树行识别易受果园复杂环境干扰的问题,该研究提出一种采用动态选取融合因子对彩色图像与深度图像进行图层融合并采用纹理-灰度梯度能量模型进行图像分割的果树行视觉识别算法。首先,通过搭建立体视觉系统获取果园彩色图像与对应的深度图像,并基于饱和度（S）通道图像的灰度值选取动态融合因子,实现对果园彩色图像与深度图像的图层融合;然后,分别计算融合图像的纹理特征图像与灰度梯度特征图像,并建立纹理-灰度梯度结合的能量模型,基于模型能量最小原则进行树干与背景的分割;最后,以树干与地面交点为果树行特征点进果树行直线拟合,完成果树行角度的识别。并对上述算法分别进行果树行识别试验与移动作业平台视觉对行导航试验。果树行识别试验结果表明,该研究算法果树行角度识别平均偏差为2.81°,与基于纹理、灰度梯度特征的果树行识别算法相比识别平均偏差分别降低2.37°和1.25°。移动作业平台视觉导航试验结果表明,在作业平台速度为0.6 m/s时,对行行驶最大偏差为12.2 cm,平均偏差为5.94 cm。该研究提出的视觉导航算法可以满足果园移动作业平台视觉对行导航需求,研究成果将为基于机器视觉的果园自动导航系统的研究与优化奠定基础。     

基于单目视觉的田间菠萝果实识别

菠萝果实的准确识别是菠萝采摘机器人视觉系统的关键。针对田间复杂环境中的青色菠萝,采用图像处理技术、数学形态学方法,识别菠萝果眼,并获取果眼的中心点信息;引入层次聚类分类方法,对多个中心点进行聚类分析;求取最多点集的中心坐标,作为菠萝区域的近似形心。选用在广东湛江菠萝田间拍摄的35幅图像作为评价样本,经过运算,迎光条件下形心识别正确率达到85%。本研究为菠萝采摘机器人的田间果实识别提供了有效的技术方案。     

基于全视域GA-SVR模型的鱼类行为双目视觉观测系统标定

针对大视场水下环境鱼类行为视觉观测系统较难准确标定的问题,该文以双目立体测量系统为例,提出一种基于全视域GA-SVR(genetic algorithm-support vector regression)模型的鱼类行为三维观测系统标定方法。该方法选用具有圆点靶标的方形标定板为标定工具,通过设计具备前后左右移动能力的简易滑动轨道,实现了标定板的全视域空间定位。然后利用HALCON算子获取标定板靶点二维坐标,联立标定板空间位置,构建训练样本集。选取SVR模型对样本集进行训练,对比不同的寻优算法对支持向量回归模型的参数组合寻优结果,选用最优参数分别建立X,Y,Z轴标定模型。试验结果表明,利用遗传算法进行参数寻优构建的标定模型,其X、Y、Z轴测量均方误差分别为0.959、0.893和4.381 mm,互相关系数分别为0.999 988,0.999 998和0.998 356,优于差分进化算法和粒子群算法参数寻优的标定结果。与传统标定方法比较,该方法单点测量均方误差为1.861 mm,距离测量均方误差为0.706 mm,均低于空气中标定方法(单点均方误差27.75 mm;距离均方误差10.188 mm)和水下测量标定方法(单点均方误差8.215 mm;距离均方误差2.832 mm)的标定结果,有效的提高了鱼类行为视觉观测系统的定位精度。该研究可为鱼类行为量化方法研究和优化提供理论支持和技术参考。     

基于双目立体视觉的番茄定位

为提高番茄采摘机器人视觉系统的定位精度,该文提出了一种基于组合匹配方法及深度校正模型的双目立体视觉测距方法。该方法在形心匹配的基础上,将形心匹配得到的视差值作为区域匹配时设定视差范围的参考值。这样可以减小区域匹配计算量及误匹配的概率。区域匹配后,利用三角测距原理得到番茄区域对应的深度图,并将区域的深度均值作为其深度维的坐标。试验发现定位误差与测量距离间具有很好的线性相关性。通过回归分析,建立了线性回归模型,并对深度测量结果进行校正。结果表明,工作距离小于650mm时,定位误差约为-7～5mm,工作距离小于1050mm时,定位误差约为±10mm,可满足番茄采摘机器人视觉系统在大多数采摘作业环境下的工作要求。     

基于全方位视觉传感器的农业机械定位系统

利用全方位视觉传感器能提供传感器周围360°范围内信息的图像,通过全方位图像可准确获取物体方向角,基于该特点研发一种可以实现农业机械自动导航的定位系统。该系统硬件主要由全方位视觉传感器、人工标识、PC、PC软件和作业车构成。该计算算法首先通过全方位视觉系统的校正,得出相机的成像投影中心;通过图像处理提取人工标识的位置,估算出标识相对于相机的方向角,然后根据圆周角定理和几何关系计算出相机的位置来完成农业机械的定位。在面积为5×3 m2的水泥地面和白炽灯光的实验室中进行试验,平均选取10个位置进行试验,试验结果显示估算点和选取点间距离的平均误差小于3 cm。研究证明该定位系统是可行的。     

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。     

苹果采摘机器人关键技术研究现状与发展趋势

目前国内苹果基本采用人工采摘方式,随着劳动力资源短缺以及机械自动化技术的迅速发展,利用机器人采摘替代人工作业成为必然趋势,开发苹果采摘机器人用于果园收获作业具有重要意义。由于苹果采摘作业环境复杂,严重制约了采摘自动化的发展。目标识别、定位与果实分离是苹果采摘机器人的关键技术,其性能决定了苹果采摘的效率及质量。该文概述了具有市场化前景的苹果采摘机器人发展和应用现状,综述了在复杂自然环境光照变化、枝叶遮挡、果实重叠、夜间环境下以及同色系苹果的识别方法,介绍了多种场景并存的复杂环境下基于深度学习的苹果识别算法,遮挡、重叠及振荡果实的定位方法,并对采用末端执行器实现果实与果树的分离方法进行了分析。针对现阶段苹果采摘机器人采摘速度低、成功率低、果实损伤、成本高等问题,指出今后苹果采摘机器人商业化发展亟需在农机农艺结合、优化识别算法、多传感器融合、多臂合作、人机协作、扩展设备通用性、融合5G与物联网技术等方面开拓创新。     

荔枝采摘机器人双目视觉的动态定位误差分析

扰动引起的随机误差成为采摘机器人视觉定位的难题。为了探索荔枝采摘机器人视觉定位误差,首先用双目视觉系统和模拟扰动的震动平台对荔枝结果母枝采摘点的三维坐标进行定位试验,检测其实际位置,获得误差数据;然后,提出了一种动态定位误差分析方法,根据误差变化规律将动态定位误差划分为系统误差和随机误差;最后,用统计方法对2类误差分别进行定量分析和评价。结果表明,定位距离为600~1 000 mm时,系统误差与动态定位误差的变化趋势基本一致,视觉深度方向、水平方向最大动态定位误差分别为58.8和17.3 mm。系统误差置信区间较窄,视觉深度方向系统误差与定位距离呈较强的线性相关性,水平方向则表现为非线性。扰动下的随机定位误差服从正态分布,视觉深度方向、水平方向间的随机误差相关性较弱。视觉深度方向受扰动的影响较大,随机误差远大于水平方向,且不确定度较高。研究结果为荔枝采摘机器人视觉定位系统校准和动态定位方案设计提供依据,为机构容错纠错提供理论依据和实践指导。     

基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位

无损收获是采摘机器人的研究难点之一,葡萄采摘过程中容易因机械碰撞而损伤果实,为便于机器人规划出免碰撞路径,提出一种基于双目立体视觉的葡萄包围体求解与定位方法。首先通过图像分割获得葡萄图像质心及其外接矩形,确定果梗感兴趣区域并在该区域内进行霍夫直线检测,通过寻找与质心距离最小的直线来定位果梗上的采摘点,运用圆检测法获取外接矩形区域内果粒的圆心和半径。然后运用归一化互相关的立体匹配法求解采摘点和果粒圆心的视差,利用三角测量原理求出各点的空间坐标。最后以采摘点的空间坐标为原点构建葡萄空间坐标系,求解葡萄最大截面,再将该截面绕中心轴旋转360°得到葡萄空间包围体。试验结果表明:当深度距离在1 000 mm以内时,葡萄空间包围体定位误差小于5 mm,高度误差小于4.95%,最大直径误差小于5.64%,算法时间消耗小于0.69 s。该研究为葡萄采摘机器人的防损采摘提供一种自动定位方法。     

农业机器人视觉传感系统的实现与应用研究进展

论述了农业机器人视觉传感系统的主要实现技术和当前的应用现状，包括基于视觉传感原理的距离检测技术，基于视觉传感原理的工作对象特征识别技术和基于视觉传感原理的运动导航技术。基于双目立体视觉的测距方法可应用于葡萄和番茄采摘机器人，配备激光光源和红外光源的测距系统可在室外有效抵抗日光变化对检测结果的影响。几何形状、灰度级、颜色，尤其是农产品表面的反射光谱特性，可以用于农业机器人识别操作对象。人工路标方法是实现农业机器人视觉导航的简单方法，另外，直接基于田间作物在空间排列的特征也可实现农业机器人的视觉导航。最后讨论了农业机器人视觉传感系统的未来发展趋势。     

利用融合高度与单目图像特征的支持向量机模型识别杂草

除草是保证农作物高产的必要工作。针对机械化除草和智能喷药中存在的杂草识别问题,以2~5叶苗期玉米及杂草为研究对象,进行了融合高度特征与单目图像特征的杂草识别方法研究。首先从单目图像中提取16个形态特征和2个纹理特征;然后基于双目图像,提出了针对植株的高度特征提取方法,所得高度特征与实际测量值间误差在±12 mm以内;利用max-min ant system算法对形态特征进行优化选择,将形态特征减少到6个,有效减少数据量62.5%,并与纹理和高度特征进行融合;将2~5叶玉米幼苗的可除草期划分为3个阶段,分别构建融合高度特征与单目图像特征的SVM识别模型,并与相应不含高度特征模型进行对比。经测试,3个阶段模型的识别准确率分别为96.67%,100%,98.33%;平均识别准确率达98.33%。不含高度特征模型的识别准确率分别为93.33%,91.67%,95%;平均识别准确率为93.33%。结果表明,融合高度特征与单目图像特征的SVM识别模型优于不含高度特征模型,平均识别准确率提高了5百分点。该方法实现了高准确率的杂草识别,研究结果为农业精确除草的发展提供参考。