基于几何形态学与迭代随机圆的番茄识别方法

为解决番茄采摘机器人作业过程中果实识别不准确的问题,提出一种基于几何形态学和迭代随机圆相结合的目标提取算法,该算法可对图像中粘连的果实进行有效分割与识别。首先,以串收番茄佳西娜为研究对象,使用RGB相机采集图像;其次,对图像进行Canny边缘检测操作,获得果实边缘轮廓点;然后,对果实边缘轮廓点进行基于几何形态学的处理,获得果实轮廓点;最后,对果实轮廓点分组处理后,进行迭代随机圆的处理,得到果实识别结果。对该算法的正确率和准确率进行了验证,结果表明,果实识别正确率为85. 1%,果实识别准确率为79. 1%,此算法在一定程度上解决了复杂环境下多个果实粘连或被少量遮挡情况下的果实分割问题。     

苹果采摘机器人目标果实快速跟踪识别方法

为了减少苹果采摘机器人采摘过程处理时间,对苹果采摘机器人目标果实的快速跟踪识别方法进行了研究。对基于R-G颜色特征的OTSU动态阈值分割方法进行首帧采集图像分割,采用图像中心原则确定要采摘的目标果实;利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速优化改进的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实,并进行不同阈值分割方法实现效果,不同灰度、亮度和对比度的匹配识别以及新旧方法识别时间对比试验,从而验证了所采用和设计方法的有效性;其中所设计跟踪识别方法的识别时间相比于原方法,减少36%。     

基于极值的重叠苹果识别方法研究

针对采摘机器人对重叠果实无法识别采摘问题,提出了一种基于极值的重叠苹果识别定位方法。首先,利用色差法对图像进行分割;然后采用OTSU分割和孔洞填充提取轮廓;最后利用一种快速计算圆内的点到边缘最小距离的算法找到局部极大值,从而确定圆心和半径。实验表明:这种方法对提取的苹果轮廓较完整的情况定位效果较好,且实时性高,具有较强的实用性。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

串番茄采摘点的识别方法

为适应番茄果实成串采收、提高农业机器人工作效率和保证果实采摘质量,提出基于提取串番茄果实串连通区域边界的采摘点识别方法。通过图像增强处理获取边界清晰的串番茄图像后,采用多尺度形态学边缘提取法提取串番茄图像边缘;再利用8邻域法对区域填充果实空隙后的边缘图进行边界提取,填充串番茄边界图,获得目标连通区域;计算目标连通区域的最小外接矩形和质心,过质心的垂线与最小外接矩形的交点即可作为串番茄采摘点的参考点。串番茄果实串采摘点识别法对垂直向下的串番茄采摘点识别效果较好,为实际番茄采摘机器人作业提供参考。     

基于HSI色彩空间与FFCM聚类的葡萄图像分割

为适应农业采摘机器人对葡萄对象快速准确识别的需要,提出了基于HSI色彩空间与以直方图信息为特征的快速模糊C-均值聚类(FFCM)算法相结合的葡萄图像分割方法。该方法以H分量作为葡萄图像聚类分割的处理数据,根据FFCM算法对灰度图像聚类分割。试验对夏黑葡萄果实在自然光、顺光、背光照射环境下拍摄的图像进行分割。结果表明:葡萄图像分割方法能够快速且较好地从复杂自然环境中将葡萄目标分割出来,为葡萄采摘机器人的研制提供了重要参考。     

基于机器视觉的类球状水果采摘机械目标识别方法

常规水果采摘机械目标识别方法多数采用特征阈值化法,对水果图像进行分割处理,不能根据水果图像中某些目标存在的共同特征将其分割为特定区域,无法为目标识别提供有力支持,降低了水果采摘机械目标识别的精确率。基于此,引入机器视觉技术原理,以类球状水果为例,提出了一种全新的水果采摘机械目标识别方法。利用高性能的拍摄相机,随机选取类球状水果进行图像采集与预处理,获取特征突出、不存在噪声点的图像,采用机器视觉技术设计图像分割算法,将图像划分为多个超像素块,对类球状水果图像边缘进行平滑处理,获取融合特征的类球状水果采摘机械目标识别显著图,完成机械目标识别。实验分析可知,通过这方法识别类球状水果采摘机械目标,其识别结果的精确率、召回率与调和平均值等三个评测指标均≥95.38%,识别效果优势显著。     

基于最小二乘法的温室番茄垄间视觉导航路径检测

针对温室非结构作业环境和复杂背景下作业机器人路径识别检测问题开展研究。在HSI颜色空间分析番茄垄间道路图像在各分量的分布特性,提出了基于机器视觉的垄间加热管敏感区域提取方法,依据I分量直方图采用最大类间方差法进行图像自适应阈值分割,对分割后二值图像利用目标区域的边缘提取算法获得导航离散点簇。根据最小二乘法原理对导航离散点簇拟合得到2条加热管边缘线,在此基础上给出中心导航基准线检测算法,并针对光照不均和作物遮挡对导航路径检测进行了实验。实验表明,与Hough变换算法相比,该算法简单快速,对光照不均具有良好的鲁棒性,能够准确提取目标敏感区域的边缘信息,对不同遮盖率番茄垄间导航路径提取正确率达91.67%。     

基于改进人工蜂群模糊聚类的葡萄图像快速分割方法

为解决基于模糊C-均值聚类(FCM)的图像分割算法需要预先给定初始聚类数目和聚类中心,易使得算法陷入局部最优的问题,提出一种改进的人工蜂群优化模糊聚类的图像分割方法。该方法在传统的人工蜂群的基础上进行优化,以FCM算法中目标函数为基础改进人工蜂群的适应度函数,运用蜂群行为中的采蜜蜂、跟随蜂和侦察蜂的分工合作来快速求解图像中的最优初始聚类中心,将求出的最优聚类中心输入给FCM进行处理,根据最大隶属度原则对果实图像进行分割。以300幅不同光照情况下拍摄的夏黑葡萄果进行分割试验,试验结果表明,改进的图像分割方法能更快地将水果从自然环境中分割识别出来,单幅图像平均分割时间为0.219 3 s,正确分割率达到90.33%,能满足采摘机器人及水果分级系统对目标图像的实时性要求。     

采摘机器人视觉伺服策略研究——基于回归数据挖掘的

为了实现采摘机器人的准确抓取控制、路径识别和自主导航功能,提出了一种基于回归数据挖掘计算模型的机器人视觉伺服控制系统。首先利用双目相机获取果实图像,然后利用拉普拉斯变换和高斯滤波方法对图片进行平滑和增强处理,并利用Canny算法对图像边缘进行检测和分割处理,完成图像的预处理。对图像进行目标识别,提取图像的特征,并采用回归数据挖掘方法对滤波图像进行检验,最终通过计算得到果实图像的中心位置,将中心位置利用控制器反馈给控制中心,控制中心发出指令,控制末端执行器完成果实的采摘作业。对机器人视觉伺服系统进行了测试,结果表明:利用采摘机器人视觉伺服系统可以准确地计算果实的中心位置,实测位置和计算位置的吻合程度较高,视觉伺服系统的计算的稳定性较好。     

面向复杂背景环境目标的快速识别研究

面向复杂背景环境的定位目标的快速识别是野外作业机器人的关键技术,以柑橘为例,研究了自然环境下基于彩色信息的目标定位的识别方法。首先,采用YCbCr颜色模型来分析柑橘彩色图像的颜色和灰度特征,并通过Otsu与FCM分割算法相结合对在不同光照条件下拍摄的彩色目标图像进行分割;然后,利用形态学数学和区域标记消除分割后产生的随机噪声;最后,用凸包算法提取果实形状特征,并通过凸包算法来判定是否为柑橘和是否可采。对500张彩色柑橘图像进行分割,结果表明采用Cr颜色分量和Otsu与FCM算法相结合有效地解决复杂自然光照下的分割问题;对963个柑橘进行了凸包算法识别试验,总体识别率达87.53%。凸包算法对遮挡图像也可进行高效识别,并能快速、准确地提取柑橘目标的质心坐标。     

采摘机器人振荡果实动态识别

提出一种采摘机器人在果实振荡状况下的动态识别方法,解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题。首先对所采集的振荡果实图像进行图像分割,将其分为果实和背景两部分;其次引入帧间差分法、水平最小外接矩形法等对分割图像进行振荡果实动态区域的区域标识,然后对其振荡果实进行识别,当图像中有多个振荡果实时,以距离图像中心最近原则确定采摘振荡目标果实。试验结果表明对实际采摘环境下遇到的多数情况,所提算法都能很好地识别出振荡果实,识别时间少于0.5 s。     

夜间自然环境下荔枝采摘机器人识别技术

利用机器视觉实现自然环境下成熟荔枝的识别,对农业采摘机器人的研究与发展具有重要意义。本文首先设计了夜间图像采集的视觉系统,然后选取了白天和夜间两种自然环境下采集荔枝图像,分析了同一串荔枝在白天自然光照与夜间LED光照下的颜色数据,确定了YIQ颜色模型进行夜间荔枝果实识别的可行性。首先选择夜间荔枝图像的I分量图,利用Otsu算法分割图像去除背景,然后使用模糊C均值聚类算法分割果实和果梗图像,得到荔枝果实图像;再利用Hough圆拟合方法检测出图像中的各个荔枝果实。荔枝识别试验结果表明:夜间荔枝图像识别的正确率为95.3%,识别算法运行的平均时间为0.46 s。研究表明,该算法对夜间荔枝的识别有较好的准确性和实时性,为荔枝采摘机器人的视觉定位方法提供了技术支持。     

自然场景下花椒果实的识别

提出一种自然场景下应用于花椒采摘机器人视觉系统的果实识别算法。该方法采用红色和绿色图像差异(R—G)来进行图像分割,使用优化腐蚀滤除噪点和隔离带法除去非目标花椒串果实,再求取花椒果实串的形心和半径。试验结果表明,该算法能有效的识别花椒果实,确定果实串的中心位置误差为10mm,识别半径误差与花椒果实串最小半径比0.05。     

基于超像素特征的苹果采摘机器人果实分割方法

针对苹果采摘机器人在自然环境下对着色不均匀果实的识别分割问题,提出了基于超像素特征的苹果采摘机器人果实分割方法。首先,采用简单线性迭代聚类算法将图像分割成内部像素颜色较为一致的若干超像素单元;然后,提取每个超像素的纹理和颜色特征,并采用支持向量机将超像素分为果实和背景两个类别;最后,根据超像素之间的邻接关系对分类结果进行进一步修正。实验表明,该方法能够对大部分超像素单元进行正确分类,平均每幅图像被错误分类的超像素约为2.28个。与采用像素级特征的色差法和采用邻域像素特征的果实分割方法相比,采用超像素特征的果实分割方法具有更好的分割效果。在进行邻接关系修正前,该方法图像分割准确率达0.9214,召回率达0.8565,平均识别分割一幅图像耗时0.6087s,基本满足实时性需求。     

采摘机器人识别抓取重叠番茄果实的方法研究

为适应农业果实采摘机器人自主采摘的需求,针对重叠番茄果实,设计了一种在不同光照条件下改进色差算子的组合处理识别并抓取重叠果实的方法。首先,利用中值滤波滤除噪声;然后,采用改进算子的OTSU分割算法和形态学处理对番茄图像进行背景分割,通过异或运算、腐蚀操作,使未覆盖果实与被覆盖果实的分离更加明显,进而将凸包算法、泛洪填充算法和霍夫直线检测相结合,提取出番茄的真实轮廓,并利用最小二乘法对其进行椭圆拟合,计算出果实质心进行立体匹配;最后,设计了适用于番茄果实采摘的原型机器人,主要由三自由度的机械臂构成,用于抓取果实。分别从不同角度对不同光照条件下重叠的番茄果实图像进行了实验,并进行了水果立体匹配实验,结果表明:该方法是有效、可行且高效的。     

基于视觉导航和RBF的移动采摘机器人路径规划研究

为了提高采摘机器人自主导航和路径规划能力,提出了基于计算机视觉路径规划和RBF神经网络自适应逼近算法的导航方法。使用图像分割、平滑处理和边缘检测技术,根据图像像素灰度值确定了导航线的位置,利用逐行扫描的方法得到了导航离散点。路径规划和跟踪使用RBF神经网络逼近算法,通过逼近误差和权值控制路径跟踪的精度,系统响应的执行端使用液压伺服系统,提高了机器人自主导航的精度。以黄瓜采摘作为研究对象,在日光温室对机器人采摘作业进行了测试,通过测试得到了RBF神经网络的路径跟踪误差曲线。测试结果表明:机器人可以很好地逼近跟踪规划路径,其计算精度较高,跟踪效果较好。     

基于图像边界提取的果园作业机器人自主导航系统

针对果园中农业移动机器人的自主导航问题,提出了一种基于图像边界提取的自主导航系统。首先,通过摄像机采集果园场景图像,并利用均值偏移算法对图像中的像素点进行聚类;然后,采用基于图论的图像分割算法,根据预定义类别对图像进行分割;接着,提取出所需类的图像区域,并利用Canny算子对该区域图像的边缘进行检测和滤波;最后,利用Hough变换提取出该区域的边界线,从而获得机器人的行进路线。实验结果表明:该方案在不需要先验知识的情况下,能够快速、有效地获得最优路径。     

基于Harris和卡尔曼滤波的农业机器人田间稳像算法

针对田间颠簸环境影响农业机器人采集实时稳定图像问题，提出了基于Harris和卡尔曼滤波的农业机器人田间稳像算法。首先，利用摄像头获取田间抖动视频图像序列，进行图像子区域划分并计算各区域灰度均方差，进而确定各区域Harris角点阈值；通过自适应角点阈值设置，增加角点距离约束，完成图像角点检测。然后，对检测出的角点进行光流跟踪，计算出帧间运动估计参数。最后，利用自适应卡尔曼滤波算法对运动估计参数进行平滑操作并动态调整滤波平滑性能，获得精确运动估计矢量。测试结果表明，改进后的Harris角点检测算法区域平均分布标准差减小；自适应卡尔曼滤波算法在保证平滑随机运动前提下，跟踪主动运动性能平均提升30.75个百分点；稳像后的图像峰间信噪比提升15.93%,单帧处理时间为25.66 ms,满足农业机器人30 f/s高速图像采集时同步稳像对实时性要求。     

采摘机器人水果检测及定位研究——基于图像处理和卷积神经网络

首先,设计了一种采用K-means聚类算法和图像处理相结合的目标边缘识别算法,可以获得完整的目标边缘轮廓;然后,利用卷积神经网络和双目视觉技术实现了采摘机器人水果检测及定位方法。实验结果表明:该采摘机器人水果检测及定位方法较好,计算量小,处理速度快,误差较小,能够满足采摘要求。