基于几何形态学与迭代随机圆的番茄识别方法

为解决番茄采摘机器人作业过程中果实识别不准确的问题,提出一种基于几何形态学和迭代随机圆相结合的目标提取算法,该算法可对图像中粘连的果实进行有效分割与识别。首先,以串收番茄佳西娜为研究对象,使用RGB相机采集图像;其次,对图像进行Canny边缘检测操作,获得果实边缘轮廓点;然后,对果实边缘轮廓点进行基于几何形态学的处理,获得果实轮廓点;最后,对果实轮廓点分组处理后,进行迭代随机圆的处理,得到果实识别结果。对该算法的正确率和准确率进行了验证,结果表明,果实识别正确率为85. 1%,果实识别准确率为79. 1%,此算法在一定程度上解决了复杂环境下多个果实粘连或被少量遮挡情况下的果实分割问题。     

夜间自然环境下荔枝采摘机器人识别技术

利用机器视觉实现自然环境下成熟荔枝的识别,对农业采摘机器人的研究与发展具有重要意义。本文首先设计了夜间图像采集的视觉系统,然后选取了白天和夜间两种自然环境下采集荔枝图像,分析了同一串荔枝在白天自然光照与夜间LED光照下的颜色数据,确定了YIQ颜色模型进行夜间荔枝果实识别的可行性。首先选择夜间荔枝图像的I分量图,利用Otsu算法分割图像去除背景,然后使用模糊C均值聚类算法分割果实和果梗图像,得到荔枝果实图像;再利用Hough圆拟合方法检测出图像中的各个荔枝果实。荔枝识别试验结果表明:夜间荔枝图像识别的正确率为95.3%,识别算法运行的平均时间为0.46 s。研究表明,该算法对夜间荔枝的识别有较好的准确性和实时性,为荔枝采摘机器人的视觉定位方法提供了技术支持。     

基于改进凸壳理论的遮挡油茶果定位检测算法

针对传统凸壳理论进行遮挡果实定位检测时由于过多剔除有效轮廓,造成目标果实定位误差较大,甚至无法识别目标果实的问题,提出了一种基于改进凸壳理论的遮挡油茶果定位检测算法。首先利用基于颜色特征的阈值分割法对油茶果遮挡图像进行目标分割,并通过预处理操作剔除图像中的背景噪声,获得目标果实的二值图像;然后采用凹点搜寻算法检测重叠目标的凹点,并根据凹点对重叠目标进行分离,获得相互独立的目标图像;再构建各独立目标的凸包,并提取凸壳,利用轮廓提取算法确定各独立目标凸壳上的有效轮廓;最后根据提取的有效轮廓求解目标果实形心坐标和半径,完成遮挡果实的定位检测。试验结果表明,改进算法平均耗时为0.491 s,比传统凸壳方法增加了24.07%,但其仅占油茶果采摘机器人单个果实采摘周期的2.46%,对于图像中的遮挡油茶果目标,改进方法的识别率达到93.21%,相比传统凸壳方法提升了7.47个百分点,改进算法的平均定位检测误差和平均重合度分别为5.53%和93.43%,比传统凸壳算法平均定位误差降低了6.22个百分点,平均重合度提高了6.79个百分点,表明文中所提出的方法能够较好地识别和定位自然环境中的遮挡油茶果。     

基于深度学习的自然环境下刺梨果实识别

采用0.57R-0.18G-0.2B色差分量法对刺梨图像进行处理,通过Ostu自适应阈值分割、形态学滤波和二值图像白色色素面积阈值等方法对图像进行一次分割。根据刺梨果实图像的颜色和纹理特征,再采用YCbCr颜色空间模型中各分量的阈值对图像进行二次分割。通过标记分水岭分割算法对粘连果实连通区域进行分割,利用Hough圆变换对独立、遮挡和重叠情况下的果实外圆进行拟合和修复,最终获取果实质心坐标及其半径。试验结果表明:刺梨果实识别正确率均高于92%,说明本算法能够对刺梨果实进行有效地识别。     

基于深度图像的球形果实识别定位算法

为了解决近色背景果实识别困难问题,针对果实近球形的形态特性,提出了一种利用深度图像从果实形态角度进行果实识别定位的算法。该算法使用深度摄像头获取果树的深度图像,通过深度图像计算出各像素点的梯度向量,将梯度向量看作运动矢量场,并计算出矢量场的散度,根据散度最大原则,从矢量场中搜索出辐散中心点;然后利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点,以果实中心点为起点采用八方向搜索方法搜索出果实边界点,将果实边界点依次连接后形成的封闭区域内的果实图像导入点云;最后根据果实图像部分点云利用RANSAC算法求出目标果实的拟合球形,进而得出果实的尺寸以及三维空间位置。该算法无需传统算法需要利用的颜色特征,而仅利用了深度图像中的深度信息进行果实识别定位,能够克服传统算法受色彩、光照等因素影响的弊端,并且由于该算法完全没有利用到彩色图像信息,因此不仅可以实现绿色果实的识别定位,还可以实现采摘机器人在夜间环境下正常工作,为复杂环境下的果实识别定位算法研究提供了技术支撑。     

苹果采摘机器人果实识别与定位方法

提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法。对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理后,获得苹果的轮廓图像。对轮廓图像采用随机圆环法进行果实圆心、半径提取。通过建立基于面积特征与极线几何相结合的匹配策略实现双目视觉下的果实定位,对于搜索区域内面积相似的果实,通过计算垂直投影的互相关函数最大值的方法,得到排序基准线,然后根据顺序一致性原则进行匹配。实验结果表明：识别算法可以较好地消除阴影、裸露土壤等影响,识别率达到92%。采用随机圆环法,可以准确地提取果实的圆心、半径。在60～150cm的距离范围内,测量误差小于     

串番茄采摘点的识别方法

为适应番茄果实成串采收、提高农业机器人工作效率和保证果实采摘质量,提出基于提取串番茄果实串连通区域边界的采摘点识别方法。通过图像增强处理获取边界清晰的串番茄图像后,采用多尺度形态学边缘提取法提取串番茄图像边缘;再利用8邻域法对区域填充果实空隙后的边缘图进行边界提取,填充串番茄边界图,获得目标连通区域;计算目标连通区域的最小外接矩形和质心,过质心的垂线与最小外接矩形的交点即可作为串番茄采摘点的参考点。串番茄果实串采摘点识别法对垂直向下的串番茄采摘点识别效果较好,为实际番茄采摘机器人作业提供参考。     

苹果采摘机器人果实识别与定位方法

提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法.对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理后,获得苹果的轮廓图像.对轮廓图像采用随机圆环法进行果实圆心、半径提取.通过建立基于面积特征与极线几何相结合的匹配策略实现双目视觉下的果实定位,对于搜索区域内面积相似的果实,通过计算垂直投影的互相关函数最大值的方法,得到排序基准线,然后根据顺序一致性原则进行匹配.实验结果表明:识别算法可以较好地消除阴影、裸露土壤等影响,识别率达到92%.采用随机圆环法,可以准确地提取果实的圆心、半径.在60～150 cm的距离范围内,测量误差小于2 cm.     

采摘机器人运动目标逼近方法研究——基于分裂迭代和模糊算法

为了解决采摘机器人作业过程中果实振荡造成目标识别不准确的问题,提出了一种针对运动果实的帧间差分法的扰动识别方法,并在帧间差分方法中引入了分裂迭代和模糊控制算法,实现了帧间差分背景图像的分离和子图像的有效聚类。依据该识别方法,对采摘机器人的目标逼近方法进行了改进,从而得到了更加准确的目标空间位置获取方法。为了验证该方法对运动果实目标逼近的有效性,采用虚拟仿真和机器人样机试验相结合的方法,进行了运动果实空间坐标获取和果实采摘试验。结果表明:采用分裂迭代模糊聚类的帧间差分方法,可以有效地对运动目标进行识别,识别误差较低,获得的位置坐标较为准确,可以满足果实采摘机器人的设计需求。     

基于量子遗传模糊神经网络的苹果果实识别

针对田间苹果采摘机器人视觉系统中彩色图像边界像素的模糊性和不确定性影响苹果果实识别精度和速度问题,提出了一种将量子遗传算法的全局搜索能力和模糊推理神经网络的自适应性相结合的算法来识别苹果果实。利用量子遗传算法对模糊神经网络的可调整参数初始值进行了全局优化,加快了网络学习速度,避免了传统BP误差反向传播学习算法易陷入局部极小值、迭代次数多等弊端。实验表明：该识别模型高速且稳定,鲁棒性好,对于果实本身颜色不均匀样本正确识别率为100%,对自然光照引起颜色不均匀样本正确识别率为96.86%,对邻接图像正确识别率为94.29%,对重叠图像正确识别率为92.31%。     

花椒采摘机设计

为提高花椒采摘效率、降低成品成本、保护果农安全,依靠HSV色彩红外识别和小波变换的方式,对成熟花椒果实的颜色形状特征和其成簇结实的特性,设计出一款自动识别花椒采摘机。采摘机主要包括视觉识别部分、机械臂运动部分、果实储存部分和车身带动部分。通过动力学仿真,使各部分相互配合,实现花椒果实视觉识别和定位采摘。此机械基本实现花椒果实的自动采摘,对提高花椒采摘效率、降低成本起到一定的促进作用。     

基于HSV模型与改进的OTSU算法花椒图像分割

为实现农业智能机器人对作业现场花椒的识别,提出了一种基于HSV模型与改进的Otsu算法相结合的图像分割方法:以现场图像的H分量图像作为处理样本,先采用中值滤波滤除噪声,再利用改进的Otsu算法进行阈值分割,达到对花椒目标辨识的目的。通过对采摘现场成熟的大红袍花椒在顺光、背光、遮阴3种情况下采集的图像进行分割,结果表明:在顺光、背光、遮阴条件下,分割识别率分别为93.3%、90%、88.3%,且与传统的Otsu算法相比,图像分割时间缩短20%以上,为现场机器人花椒采摘识别提供了一种方法。     

基于HSV与形状特征融合的花椒图像识别

光照条件变化会对花椒目标识别率产生影响,关系到机器视觉技术能否有效应用于生产现场的花椒采摘。通过对HSV特性图像识别技术的分析,提出HSV和形状特征融合的花椒识别算法。该算法采用同态滤波方法对光照进行补偿,解决因为光照不均匀而导致的花椒识别率低的问题,最后利用花椒圆度特征,排除树枝及树叶等的干扰,实现花椒的准确识别。利用同态滤波方法对光照进行补偿,对于光照不强或者发生遮挡的花椒图像有较大改善,通过试验得出其平均识别率达到94.0%,比单独采用HSV特性识别时,在顺光,背光和遮阴条件下,识别率分别提高4%,13%和21%,此外在遮阴条件下运行时间缩短14.6%。为遮阴条件下提高花椒识别率提供一种方法。     

基于实例分割的番茄串视觉定位与采摘姿态估算方法

准确识别定位采摘点，根据果梗方向，确定合适的采摘姿态，是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂，果实颜色、形状各异，果梗姿态多样，叶子藤枝干扰等因素，降低了采摘点识别准确率和采摘成功率。针对这个问题，考虑番茄串生长特性，提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制，保证番茄串和果梗感兴趣区域(Region of interest, ROI)、掩膜质量和可靠性，实现果梗粗分割；通过果梗掩膜信息和ROI位置关系匹配可采摘果梗，基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割；再通过果梗深度信息填补法与深度信息融合，精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态，并根据果梗姿态确定适合采摘的末端执行器姿态，引导机械臂完成采摘。研究和大量现场试验结果表明，提出的方法在复杂采摘环境中具有较高的定位精度和稳定性，对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1 280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素...     

基于随机森林算法的自然光照条件下绿色苹果识别

果实识别是自动化采摘系统中的重要环节,能否快速、准确地识别出果实直接影响采摘机器人的实时性和可靠性。为了实现自然光照条件下绿色苹果的识别,本文采集了果实生长期苹果树图像,并利用随机森林算法实现了绿色苹果果实的分类和识别。针对果树背景颜色和纹理特征的复杂性,尤其是绿色果实和叶片在很多特征上的相似性,论文基于RGB颜色空间进行了Otsu阈值分割和滤波处理,去除枝干等背景,得到仅剩果实和叶片的图像。然后,分别提取叶片和苹果的灰度及纹理特征构成训练集合,建立了绿色苹果随机森林识别模型,并使用像素模板验证数据集,对模型进行预测试验,正确率为90%。最后,选择10幅自然光照条件下不同的果树图像作为检测对象,使用该模型进行果实识别并使用霍夫变换绘制果实轮廓,平均识别正确率为88%。结果表明,该方法具有较高的鲁棒性、稳定性、准确性,能够用于自然光照条件下绿色果实的快速识别。     

采摘机器人基于支持向量机苹果识别方法

针对目前苹果采摘机器人果实识别过程误差大、处理时间长等问题,应用支持向量机(SVM)方法对苹果果实进行识别.首先采用矢量中值滤波法对苹果彩色图像进行预处理,然后运用区域生长算法和颜色特征相结合的方法进行图像分割,最后分别对苹果彩色图像的颜色特征、几何形状特征进行提取,并用支持向量机的模式识别方法识别苹果果实.实验结果表明:支持向量机识别方法的识别性能优于神经网络方法;综合颜色特征和形状特征的支持向量机识别方法对苹果果实识别的正确率高于只用颜色特征或形状特征的正确率.     

基于残差网络的自然环境中刺梨果实的识别

针对传统的目标检测方法依赖人工提取特征,存在检测效率低、鲁棒性差和实时性差等缺陷。本文根据刺梨果实在自然环境中的生长特点,采用带有残差模块的YOLO v3神经网络进行刺梨果实识别模型的训练,该网络通过提取不同卷积层的特征图,将深层特征图进行上采样后与浅层特征图进行多次融合,以提取图像的更深层次的特征信息。通过对该网络的相关参数进行优化和改进,并对未参与模型训练的70幅刺梨图像进行检测,实验表明,本文算法能够有效地对自然环境下的11类刺梨果实进行识别,各类识别平均准确率为88.5%,平均召回率为91.5%,F_1平均值为89.9%,识别速率约为20 f/s。本文算法在刺梨果实的识别上取得了理想的识别效果。     

采摘机器人振荡果实动态识别

提出一种采摘机器人在果实振荡状况下的动态识别方法,解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题。首先对所采集的振荡果实图像进行图像分割,将其分为果实和背景两部分;其次引入帧间差分法、水平最小外接矩形法等对分割图像进行振荡果实动态区域的区域标识,然后对其振荡果实进行识别,当图像中有多个振荡果实时,以距离图像中心最近原则确定采摘振荡目标果实。试验结果表明对实际采摘环境下遇到的多数情况,所提算法都能很好地识别出振荡果实,识别时间少于0.5 s。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

自然背景下计算机视觉技术在西红柿采摘中的应用

针对西红柿种植过程中,采摘费时费力的问题,将计算机视觉技术与图像处理和模式识别技术相结合,开发了在自然背景条件下的西红柿自动识别系统。运用双目立体视觉系统来识别红色西红柿,去除原始图像的噪声、转换图像的灰度、对新图像进行分割和目标特征提取,从背景中把西红柿分离出来;同时,针对果实间存在的重叠问题,采用圆形Hough变换算法,提取西红柿的圆心坐标和半径特征,通过获取T=Sqrt(s×l)图像,恢复被遮挡西红柿。利用该技术,采集了不同条件下的100张西红柿照片,其中99张照片被准确识别,识别率达到9 9%以上,能够较好地满足西红柿采摘工作的要求。