苹果采摘机器人目标果实快速跟踪识别方法

为了减少苹果采摘机器人采摘过程处理时间,对苹果采摘机器人目标果实的快速跟踪识别方法进行了研究。对基于R-G颜色特征的OTSU动态阈值分割方法进行首帧采集图像分割,采用图像中心原则确定要采摘的目标果实;利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速优化改进的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实,并进行不同阈值分割方法实现效果,不同灰度、亮度和对比度的匹配识别以及新旧方法识别时间对比试验,从而验证了所采用和设计方法的有效性;其中所设计跟踪识别方法的识别时间相比于原方法,减少36%。     

采摘机器人移动果实目标跟踪研究——基于云存储和无线传感器网络

提高采摘机器人对运动目标的定位能力是提高机器人采摘精度的重要途径,但对于运动果实目标的跟踪和识别需要实时处理大量的图像数据。为有效处理并利用无线传感器实时采集待采摘果实图像,提出了一种基于Hadoop云平台的图像并行处理方案。为了验证方案的可行性,设计了具有运动图像采集和无线传感网络传输功能的采摘机器人,并搭建了基于云存储并行计算的图像抓取平台,利用无线传感器采集的果实图像资源作为原始数据集,对运动待采摘目标进行了图像识别。实验结果表明:采用该方案可以成功地获取运动果实的位置信息,且采摘机器人成功采摘率较高,对于高精度采摘机器人的设计研究具有重要的意义。     

采摘机器人振荡果实动态识别

提出一种采摘机器人在果实振荡状况下的动态识别方法,解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题。首先对所采集的振荡果实图像进行图像分割,将其分为果实和背景两部分;其次引入帧间差分法、水平最小外接矩形法等对分割图像进行振荡果实动态区域的区域标识,然后对其振荡果实进行识别,当图像中有多个振荡果实时,以距离图像中心最近原则确定采摘振荡目标果实。试验结果表明对实际采摘环境下遇到的多数情况,所提算法都能很好地识别出振荡果实,识别时间少于0.5 s。     

采摘机器人视觉伺服策略研究——基于回归数据挖掘的

为了实现采摘机器人的准确抓取控制、路径识别和自主导航功能,提出了一种基于回归数据挖掘计算模型的机器人视觉伺服控制系统。首先利用双目相机获取果实图像,然后利用拉普拉斯变换和高斯滤波方法对图片进行平滑和增强处理,并利用Canny算法对图像边缘进行检测和分割处理,完成图像的预处理。对图像进行目标识别,提取图像的特征,并采用回归数据挖掘方法对滤波图像进行检验,最终通过计算得到果实图像的中心位置,将中心位置利用控制器反馈给控制中心,控制中心发出指令,控制末端执行器完成果实的采摘作业。对机器人视觉伺服系统进行了测试,结果表明:利用采摘机器人视觉伺服系统可以准确地计算果实的中心位置,实测位置和计算位置的吻合程度较高,视觉伺服系统的计算的稳定性较好。     

自然环境下柑橘采摘机器人识别定位系统研究

为了准确理解柑橘采摘机器人在自然环境下的作业场景,获取采摘目标及周围障碍物的位置信息,构建了基于卷积神经网络和Kinect V2相机的识别定位系统。首先,对采摘场景中的果树提出5类目标物分类准则,包含1类可采摘果实和4类障碍物目标;然后,在YOLO V3（You only look once）卷积层模块中添加3层最大池化层,对预测候选框进行K-means聚类分析,增强模型对枝叶类物体特征的提取能力,实现采摘场景的准确理解;最后,采用Kinect V2相机的深度图映射得到采摘目标和障碍物的三维信息,并在自然环境下进行了避障采摘作业。实验结果表明,构建的识别定位系统对障碍物和可采摘果实的识别综合评价指数分别为83.6%和91.9%,定位误差为5.9mm,单帧图像的处理时间为0.4s,采摘成功率和避障成功率分别达到80.51%和75.79%。     

基于HSI色彩空间与FFCM聚类的葡萄图像分割

为适应农业采摘机器人对葡萄对象快速准确识别的需要,提出了基于HSI色彩空间与以直方图信息为特征的快速模糊C-均值聚类(FFCM)算法相结合的葡萄图像分割方法。该方法以H分量作为葡萄图像聚类分割的处理数据,根据FFCM算法对灰度图像聚类分割。试验对夏黑葡萄果实在自然光、顺光、背光照射环境下拍摄的图像进行分割。结果表明:葡萄图像分割方法能够快速且较好地从复杂自然环境中将葡萄目标分割出来,为葡萄采摘机器人的研制提供了重要参考。     

基于单目视觉与超声检测的振荡果实采摘识别与定位

针对采摘机器人在果实振荡情况下因难以精确定位影响采摘效率的问题,提出了一种基于单目视觉与超声检测的振荡果实识别与定位方法。首先对采集的振荡果树图像序列进行基于色差R-G的Otsu阈值分割和形态学处理,接着对图像果实区域进行灰度填充,将处理后的图像序列叠加得到复合图像和目标果实运动区域,求取振荡果实在图像运动区域的二维平衡位置坐标。然后机械手在视觉引导下运动,其末端指向振荡果实二维平衡位置坐标,同时超声传感器检测目标果实深度信息并提取超声回波信号峰峰值进行果实识别,当检测到果实处于适合采摘位置时,机械手爪抓取果实。采摘试验表明,采摘成功率为86%,验证了所采用方法的有效性,为实现采摘机器人实用化提供了参考。     

采摘机器人动态果实目标检测与跟踪技术研究 —基于云存储

由于大风天气、光照变化、背景干扰、阴影、摄像头的抖动及运动目标之间遮挡等现象的存在,给采摘机器人果实目标的正确检测带来了极大的挑战,特别是在有风的天气,采摘机器人对动态的果实目标进行定位的难度很大。为此,提出了一种新的采摘机器人移动果实目标检测和追踪方法,并利用云存储技术实现了果实运动图像的实时处理,最后以果实运动目标的定位为实验目的,对该方法的可行性进行了验证。图像处理结果表明:利用基于云存储技术的图像处理平台可以成功地捕捉运动目标的实时信息,且果实位置信息定位速度快、准确率高,可为采摘机器人自主定位导航提供准确的目标果实位置实时信息。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

采摘机器人目标识别技术研究——基于机器视觉及深度学习

为了解决采摘机器人识别目标果实难的问题，提出了一种基于机器视觉及深度学习的采摘机器人目标识别技术，可结合图像采集、图像处理、SSD深度学习算法，实现对橘柑的精准识别。试验结果表明：采摘机器人目标识别技术对橘柑具有较高的识别率，证实了该方法的可行性，对采摘机器人研究具有一定的参考价值。     

基于遗传迭代和模糊控制的采摘机器人目标追踪算法

为了提高采摘机器人目标追踪的效率和精度,在机器人视觉系统和控制系统的设计上引入了遗传迭代算法和模糊PID控制器,通过对图像处理过程和机械执行末端动作过程进行优化,可以得到更佳的采摘效果。在视觉系统对采摘图像进行处理时,可以通过遗传迭代算法对高质量图像进行筛选,并提高果实成熟度匹配的效率,果实识别后采用模糊PID控制算法对机器人执行末端进行控制,使其可以以更高的精度追踪到果实,执行采摘任务。     

基于聚类算法对象提取的快速定位采摘机器人设计

为了提高采摘机器人的定位速度,对机器人的机器视觉系统进行了改进,设计了一种基于聚类算法和视频对象提取技术的快速定位机器人。该机器人视频对象图像提取过程中,在完成图像进行滤波后,引入了Lab彩色空间聚类算法,有效地降低了图像的色彩数和噪声,实现了图像对象的量化处理,大大提高了果实定位和采摘的效率。为了验证设计的快速定位采摘机器人的可靠性,对机器人的采摘性能进行了测试,测试项目主要包括图像处理和果实定位。通过测试发现:快速定位机器人可以有效地实现图像聚类中心的提取,并对聚类中心进行编码,每次定位用时少、定位速度高且果实采摘的准确性累计概率较高,符合高精度、高效率果实采摘机器人的设计需求。     

自动采摘目标图像快速识别算法研究——基于K-means聚类算法

介绍了K-means聚类算法的工作原理,研究了基于图像处理和K-means聚类算法的目标物体快速识别,设计了一套自动采摘目标图像快速识别算法,可以准确实现对苹果的快速精确识别,未来还可以扩展对其他水果的识别。实验结果表明:当采摘机器人的机械臂移动速度较高,能够准确对目标物体进行快速识别,证明了目标图像快速识别算法性能优良,具有较高的有效性和可行性。     

非结构环境中扰动葡萄采摘点的视觉定位技术

非结构环境下采摘机器人对扰动葡萄采摘点的视觉识别定位有实际应用价值。首先基于"挠性杆-铰链-刚性杆-质量球"模型对葡萄串形态进行分析,将其扰动状态分解为XOY和YOZ 2个平面的类单摆运动,对扰动葡萄进行视频拍摄,通过对视频中多帧葡萄图像进行Otsu阈值分割得到果实和果梗,并计算出各帧图像中葡萄串的质心;对各帧图像的葡萄串质心进行曲线拟合,计算出葡萄类单摆运动的周期与摆角,从而确定当前扰动葡萄是否适合视觉定位;对可实现视觉定位的扰动葡萄,选取类单摆中间位置质心点对应的葡萄图像,对葡萄串上方矩形区域进行Canny边缘检测,再利用霍夫直线拟合结合角度约束法实现扰动葡萄采摘点的定位。视觉定位试验结果表明:自然环境中不同光照下扰动葡萄采摘点的视觉定位准确率达80%以上,为采摘机器人应用于实际生产提供了理论基础。     

排球运动规划在采摘机器人识别与定位中的应用

在排球比赛过程中,扣球是得分最关键的动作之一,为了得到合适位置出手点、角度和力度等优化数据,可以采用排球机器人训练的方法,通过植入人工智能算法,对扣球过程中的数据进行采集,最后通过运动规划使扣球动作达到最佳姿态。排球机器人运动规划方案可以移植到采摘机器人的智能化训练上,加快对果实信息采集和处理效率,从而更快地捕捉到果实目标,对路径规划做出响应,对于提高采摘机器人定位和识别能力具有重要的意义。为了验证方案的可行性,对基于排球机器人运动规划系统的采摘机器人定位识别功能进行了测试,结果表明:采摘机器人可以成功定位和识别果实,且响应速度较快、误差较小,可以满足采摘机器人定位识别功能的设计需求。     

基于单目视觉的田间菠萝果实识别

菠萝果实的准确识别是菠萝采摘机器人视觉系统的关键。针对田间复杂环境中的青色菠萝,采用图像处理技术、数学形态学方法,识别菠萝果眼,并获取果眼的中心点信息;引入层次聚类分类方法,对多个中心点进行聚类分析;求取最多点集的中心坐标,作为菠萝区域的近似形心。选用在广东湛江菠萝田间拍摄的35幅图像作为评价样本,经过运算,迎光条件下形心识别正确率达到85%。本研究为菠萝采摘机器人的田间果实识别提供了有效的技术方案。     

排球运动规划在采摘机器人识别定位中的应用

为对采摘机器人的识别与定位功能进行优化,将排球机器人的运动规划原理与采摘机器人的控制要求相结合进行应用探讨。通过搭建采摘机器人对果实的识别定位理论模型,运用核心图像识别与处理算法,硬件配置动作执行协调及软件系统后台指令控制,实现多功能性传感装置信息数据的合理性采集与传输,达到实时定位目标。进行了采摘机器人的识别与定位试验,结果表明:在排球机器人运动规划与控制机理下,通过目标与定位图像的有效抓取,采摘定位时间可控制在0.6s左右,综合定位准确率保持在93.8%以上,最高定位准确率可达95.7%,满足采摘机器人作业需求,验证了设计理念的可行性,可为类似农业设备定位开发提供思路。     

串番茄采摘点的识别方法

为适应番茄果实成串采收、提高农业机器人工作效率和保证果实采摘质量,提出基于提取串番茄果实串连通区域边界的采摘点识别方法。通过图像增强处理获取边界清晰的串番茄图像后,采用多尺度形态学边缘提取法提取串番茄图像边缘;再利用8邻域法对区域填充果实空隙后的边缘图进行边界提取,填充串番茄边界图,获得目标连通区域;计算目标连通区域的最小外接矩形和质心,过质心的垂线与最小外接矩形的交点即可作为串番茄采摘点的参考点。串番茄果实串采摘点识别法对垂直向下的串番茄采摘点识别效果较好,为实际番茄采摘机器人作业提供参考。     

基于VUE的智能采摘机器人前端开发框架研究

以智能采摘自动识别定位方式为研究对象,对葡萄自动采摘前端的图像采集和分析处理过程进行分析,利用VUE自底向上逐层构建的方式,设计一种能够对目标进行自动识别定位的智能采摘机器人识别定位算法。采用高清相机对采摘目标图像进行采集,将原始图像进行二值化处理,获取图像灰度等级,并采用葡萄图像分割的方式获取葡萄采摘点,最后通过最小角度拟合的方式确定葡萄果梗采摘点。试验结果表明:智能采摘机器人前端识别定位方法平均运行成功率高于90%,平均运行时间0.65s,能够快速准确地进行采摘对象识别定位,可为智能采摘机器人技术的推广提供理论基础。     

基于粗糙集与遗传算法的采摘机器人路径规划

为了提高采集机器人路径规划速度和自主导航的智能化水平,提出了一种基于粗糙集和遗传算法的路径规划方法,从而有效地提高了路径规划的速度和精度。采摘机器人根据实际果实采摘环境,利用图像分割技术,对果实目标进行识别,在二维栅格地图环境下,制定出决策表,并使用粗糙集对决策表进行约简,得到最小决策表,将其作为遗传算法初试种群,进行遗传交叉和复制操作,优化路径规划算法。为了验证采摘机器人算法性能的可靠性,对采摘机器人的性能进行了测试,包括果实图像的识别和机器人路径规划能力。通过测试发现:采摘机器人可有效地分割提取出成熟果实,并可完成多目标任务。对粗糙集和遗传算法的性能进行了测试,结果发现:使用粗糙集可以大大降低所需训练种群的数目,减少平均迭代次数;增加障碍物的复杂程度后,使用粗糙集遗传算法可以明显地提高路径规划的速度,从而提高了机器人采摘作业的效率。