融合Harris与SIFT算法的荔枝采摘点计算与立体匹配

为了满足荔枝收获机器人对整串果实采摘作业的需求,提出一种融合Harris与SIFT算法的荔枝采摘点计算与立体匹配方案。首先在已识别的荔枝结果母枝部位进行Harris角点检测,结合提取已识别荔枝果实区域质心与最小外接矩形等特征信息,进行采摘点二维像素坐标的计算。然后通过对比分析,提出对计算采摘点采用带约束条件基于余弦相似度的SIFT双目立体匹配,最后进行采摘点计算与双目立体匹配实验验证。结果表明,计算采摘点的匹配成功率可达89.55%,且该方法更能满足在结构复杂的结果母枝上采摘点计算的精度需求。     

采摘机器人振荡果实动态识别

提出一种采摘机器人在果实振荡状况下的动态识别方法,解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题。首先对所采集的振荡果实图像进行图像分割,将其分为果实和背景两部分;其次引入帧间差分法、水平最小外接矩形法等对分割图像进行振荡果实动态区域的区域标识,然后对其振荡果实进行识别,当图像中有多个振荡果实时,以距离图像中心最近原则确定采摘振荡目标果实。试验结果表明对实际采摘环境下遇到的多数情况,所提算法都能很好地识别出振荡果实,识别时间少于0.5 s。     

非结构环境中扰动葡萄采摘点的视觉定位技术

非结构环境下采摘机器人对扰动葡萄采摘点的视觉识别定位有实际应用价值。首先基于"挠性杆-铰链-刚性杆-质量球"模型对葡萄串形态进行分析,将其扰动状态分解为XOY和YOZ 2个平面的类单摆运动,对扰动葡萄进行视频拍摄,通过对视频中多帧葡萄图像进行Otsu阈值分割得到果实和果梗,并计算出各帧图像中葡萄串的质心;对各帧图像的葡萄串质心进行曲线拟合,计算出葡萄类单摆运动的周期与摆角,从而确定当前扰动葡萄是否适合视觉定位;对可实现视觉定位的扰动葡萄,选取类单摆中间位置质心点对应的葡萄图像,对葡萄串上方矩形区域进行Canny边缘检测,再利用霍夫直线拟合结合角度约束法实现扰动葡萄采摘点的定位。视觉定位试验结果表明:自然环境中不同光照下扰动葡萄采摘点的视觉定位准确率达80%以上,为采摘机器人应用于实际生产提供了理论基础。     

基于几何形态学与迭代随机圆的番茄识别方法

为解决番茄采摘机器人作业过程中果实识别不准确的问题,提出一种基于几何形态学和迭代随机圆相结合的目标提取算法,该算法可对图像中粘连的果实进行有效分割与识别。首先,以串收番茄佳西娜为研究对象,使用RGB相机采集图像;其次,对图像进行Canny边缘检测操作,获得果实边缘轮廓点;然后,对果实边缘轮廓点进行基于几何形态学的处理,获得果实轮廓点;最后,对果实轮廓点分组处理后,进行迭代随机圆的处理,得到果实识别结果。对该算法的正确率和准确率进行了验证,结果表明,果实识别正确率为85. 1%,果实识别准确率为79. 1%,此算法在一定程度上解决了复杂环境下多个果实粘连或被少量遮挡情况下的果实分割问题。     

基于计算机视觉的成熟番茄识别研究

以番茄图像为研究对象,提出一种成熟番茄识别方法。首先,以HSI模型中的色调分量为基础进行图像分割,提取出成熟番茄目标图像;然后,再采用最大方差自动取阈值法进行分割处理,对得到的目标图像进行轮廓提取;最后,对轮廓曲线采用Hough变换的方法进行识别,以同一个轮廓圆识别的多个极值点的均值作为最终识别结果,在Hough变换之前采用最小外接矩形法进行有效区域标记,提高了Hough变换的效率。通过多幅番茄果实图像的仿真测试表明:本算法对果实遮掩度为0、小于50%、大于50%这3种情况的识别率分别为78.7%、6 8.1%、4 1.9%,平均识别率达到7 0.6%。本算法对于成熟番茄可以较好识别,尤其对于存在重叠情况的番茄,识别准确率较高。     

开放式茄子采摘机器人设计与试验

根据茄子生长的空间分布,利用优化设计方法进行了机器人本体结构参数设计,开发了4自由度关节式采摘机器人机械本体.采用基于直方图的固定双阈值法对G-B灰度图像进行分割.根据果蔬采摘机器人对视觉系统的要求,提取了果实目标的轮廓、面积、质心、外接矩形以及切断点等特征.整机性能测试结果表明:以单摄像头两步法测距,当测量距离在275～575mm范围内,测量误差基本都在±18mm之内;整机试验系统运行稳定可靠,抓取成功率为89%,平均耗时37.4s.     

基于机器视觉的水果采摘机器人目标识别方法

为解决水果采摘机器人快速、准确识别目标问题,提出一种基于机器视觉的类球状水果识别方法。首先采用基于颜色归一化差的图像分割算法,将果实从背景中分割出来;然后利用单像素边缘跟踪算法提取果实边缘,并在跟踪过程中利用直线投影法剔除角点,使交叉边缘在角点处断开,提高遮挡情况下识别的准确性;最后通过最小二乘法检测圆形,识别果实。实验结果表明,算法处理中等大小的图像平均用时83.548ms,识别准确率达95%以上。算法快速、鲁棒,可以满足机器人实时作业要求。     

基于极值的重叠苹果识别方法研究

针对采摘机器人对重叠果实无法识别采摘问题,提出了一种基于极值的重叠苹果识别定位方法。首先,利用色差法对图像进行分割;然后采用OTSU分割和孔洞填充提取轮廓;最后利用一种快速计算圆内的点到边缘最小距离的算法找到局部极大值,从而确定圆心和半径。实验表明:这种方法对提取的苹果轮廓较完整的情况定位效果较好,且实时性高,具有较强的实用性。     

自然场景下花椒果实的识别

提出一种自然场景下应用于花椒采摘机器人视觉系统的果实识别算法。该方法采用红色和绿色图像差异(R—G)来进行图像分割,使用优化腐蚀滤除噪点和隔离带法除去非目标花椒串果实,再求取花椒果实串的形心和半径。试验结果表明,该算法能有效的识别花椒果实,确定果实串的中心位置误差为10mm,识别半径误差与花椒果实串最小半径比0.05。     

基于单目视觉与超声检测的振荡果实采摘识别与定位

针对采摘机器人在果实振荡情况下因难以精确定位影响采摘效率的问题,提出了一种基于单目视觉与超声检测的振荡果实识别与定位方法。首先对采集的振荡果树图像序列进行基于色差R-G的Otsu阈值分割和形态学处理,接着对图像果实区域进行灰度填充,将处理后的图像序列叠加得到复合图像和目标果实运动区域,求取振荡果实在图像运动区域的二维平衡位置坐标。然后机械手在视觉引导下运动,其末端指向振荡果实二维平衡位置坐标,同时超声传感器检测目标果实深度信息并提取超声回波信号峰峰值进行果实识别,当检测到果实处于适合采摘位置时,机械手爪抓取果实。采摘试验表明,采摘成功率为86%,验证了所采用方法的有效性,为实现采摘机器人实用化提供了参考。     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统.在图像空间利用Hough变换检测出果实目标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划.实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效等因素的影响,目标定位误差小于8 mm,显著地提高了抓取的精度和可靠性.     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统。在图像空间利用Hough变换检测出果实标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划。实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效 等因素的影响,目标定位误差小于8mm,显著地提高了抓取的精度和可靠性。     

基于区域生长的采摘机器人视觉识别方法

提出了一套基于茄子图像的空间位置信息和颜色因子相融合的区域生长分割算法。为保证茄子图像分割最佳的颜色空间和颜色因子,提取了50幅不同光照条件下的茄子图像的RGB颜色空间分量灰度图和直方图,比较了茄子果实、叶子、茎秆和空隙等的颜色特征,得出了G-B颜色因子对于茄子果实分割最为有利的结论。按照灰度级相同和空间8邻域连通的原则确定种子区域,进而通过扫描整幅图像进行初始分割。融合G-B颜色因子和空间信息对初始区域进行合并,直到分割形成的区域类间距离最大时停止生长。通过顶点链码与离散格林技术提取出果实的最小外接矩形,求解果实的生长位姿,试验表明:其分割效率均大于93%,平均用时为0.32 s,能够满足果蔬采摘机器人对视觉系统的要求。     

采摘机器人识别抓取重叠番茄果实的方法研究

为适应农业果实采摘机器人自主采摘的需求,针对重叠番茄果实,设计了一种在不同光照条件下改进色差算子的组合处理识别并抓取重叠果实的方法。首先,利用中值滤波滤除噪声;然后,采用改进算子的OTSU分割算法和形态学处理对番茄图像进行背景分割,通过异或运算、腐蚀操作,使未覆盖果实与被覆盖果实的分离更加明显,进而将凸包算法、泛洪填充算法和霍夫直线检测相结合,提取出番茄的真实轮廓,并利用最小二乘法对其进行椭圆拟合,计算出果实质心进行立体匹配;最后,设计了适用于番茄果实采摘的原型机器人,主要由三自由度的机械臂构成,用于抓取果实。分别从不同角度对不同光照条件下重叠的番茄果实图像进行了实验,并进行了水果立体匹配实验,结果表明:该方法是有效、可行且高效的。     

基于3D视觉的番茄授粉花朵定位方法

为了给设施番茄授粉机器人授粉提供可靠的定位技术,提出了一种基于3D视觉的番茄花朵定位方法。采用RGB-D结构光相机快速获取温室内番茄植株的彩色图和深度图信息,通过YOLO v4 (You only look once)神经网络对植株上番茄花束进行目标检测,并提取出授粉花束在图像中的二维区域;使用主动对齐方式结合PCL进行彩色图像和深度图像的粗对齐,利用区域内色系单视角线性遍历方法对提取的花束区域进行精配准,获得番茄花束的空间高精度点云信息;再使用统计滤波法剔除点云信息离群点后,结合双向均值法计算花束3D box的授粉质心坐标。定位试验结果表明,该方法在温室环境中能成功对花束进行识别定位,神经网络平均检测精度达97.67%,完成单幅图像花束提取时间为14.95ms,算法获取授粉质心坐标的平均时间约为300ms。后期在温室内验证,在花束被遮挡小于80%时,算法能够对番茄花朵进行精准定位,并成功执行授粉动作,为番茄授粉机器人提供了一种新的授粉点定位方法。     

基于实例分割的番茄串视觉定位与采摘姿态估算方法

准确识别定位采摘点，根据果梗方向，确定合适的采摘姿态，是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂，果实颜色、形状各异，果梗姿态多样，叶子藤枝干扰等因素，降低了采摘点识别准确率和采摘成功率。针对这个问题，考虑番茄串生长特性，提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制，保证番茄串和果梗感兴趣区域(Region of interest, ROI)、掩膜质量和可靠性，实现果梗粗分割；通过果梗掩膜信息和ROI位置关系匹配可采摘果梗，基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割；再通过果梗深度信息填补法与深度信息融合，精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态，并根据果梗姿态确定适合采摘的末端执行器姿态，引导机械臂完成采摘。研究和大量现场试验结果表明，提出的方法在复杂采摘环境中具有较高的定位精度和稳定性，对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1 280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素...     

基于VC++6.0的柿子采摘视觉研究及特征参数的提取

实现准确采摘离不开识别和定位这两个关键环节。要实现精确定位首先就必须准确识别果实,确定果实的质心、半径,在此基础上进行三维立体坐标的标定,从而精确计算出果实的空间位置,实现准确采摘。本文在已经获取果实图像的基础上,基于VC++6.0研究果实各种参数提取所需要的图像处理函数,比如阈值变换、窗口变换、中值滤波、梯度锐化、边缘检测、轮廓提取等,以及各种特征参数计算函数,如计算球形果的质心、半径、周长、面积、圆形度、伸长度等的函数。通过对各个果实识别各个环节所需函数来研究采摘机器人的视觉。     

基于最小二乘法的温室番茄垄间视觉导航路径检测

针对温室非结构作业环境和复杂背景下作业机器人路径识别检测问题开展研究。在HSI颜色空间分析番茄垄间道路图像在各分量的分布特性,提出了基于机器视觉的垄间加热管敏感区域提取方法,依据I分量直方图采用最大类间方差法进行图像自适应阈值分割,对分割后二值图像利用目标区域的边缘提取算法获得导航离散点簇。根据最小二乘法原理对导航离散点簇拟合得到2条加热管边缘线,在此基础上给出中心导航基准线检测算法,并针对光照不均和作物遮挡对导航路径检测进行了实验。实验表明,与Hough变换算法相比,该算法简单快速,对光照不均具有良好的鲁棒性,能够准确提取目标敏感区域的边缘信息,对不同遮盖率番茄垄间导航路径提取正确率达91.67%。     

基于机器视觉的嫁接幼苗特征识别方法

幼苗子叶方向的正确识别是瓜科嫁接机实现全程自动化的关键技术之一。该文研究了在自然光照条件下,对白籽南瓜砧木子叶方向特征的识别方法。首先对采集的幼苗图像进行预处理,提取出子叶边界;然后利用区域标记,依次提取目标幼苗子叶边界的最小外接矩形,在外接矩形内对幼苗边界进行椭圆形Hough变换,拟合两片子叶的轮廓曲线;最后依据子叶轮廓的椭圆形数学模型,求取幼苗子叶方向,幼苗生长点位置以及子叶叶片面积等特征信息。对100幅幼苗图像进行识别试验,成功率为85%。该文提出的方法可对嫁接南瓜幼苗的子叶方向特征进行有效的识别,并且通过调整参数,可用于其他幼苗的特征识别研究。      

基于机器视觉的猕猴桃特征参数提取

以猕猴桃为研究对象,通过对源图像各颜色分量及颜色因子的灰度图、直方图及线剖面分析,选用Lab空间的a通道分量进行特征提取。为了改善图像质量,对a通道分量通过直方图均衡化、中值滤波进行增强。对滤波后的图像利用OTSU自动阈值分割法,完成目标与背景的分割。应用形态学处理方法,对图像先腐蚀再去除小目标最后进行反向膨胀运算去除残留物。对处理得到的二值图像运用Canny算子获取目标区域的边界信息,基于正椭圆Hough变换提取猕猴桃的质心、面积、周长和圆形度。为了测试提取算法的准确性和实时性,对采集的40张图像87个果实进行了特征提取试验。试验结果表明:正确提取率为88.5%,平均提取时间为3.976s,基本满足猕猴桃采摘机器人目标识别对图像处理的实时性要求。