采摘机器人移动果实目标跟踪研究——基于云存储和无线传感器网络

提高采摘机器人对运动目标的定位能力是提高机器人采摘精度的重要途径,但对于运动果实目标的跟踪和识别需要实时处理大量的图像数据。为有效处理并利用无线传感器实时采集待采摘果实图像,提出了一种基于Hadoop云平台的图像并行处理方案。为了验证方案的可行性,设计了具有运动图像采集和无线传感网络传输功能的采摘机器人,并搭建了基于云存储并行计算的图像抓取平台,利用无线传感器采集的果实图像资源作为原始数据集,对运动待采摘目标进行了图像识别。实验结果表明:采用该方案可以成功地获取运动果实的位置信息,且采摘机器人成功采摘率较高,对于高精度采摘机器人的设计研究具有重要的意义。     

基于单目视觉与超声检测的振荡果实采摘识别与定位

针对采摘机器人在果实振荡情况下因难以精确定位影响采摘效率的问题,提出了一种基于单目视觉与超声检测的振荡果实识别与定位方法。首先对采集的振荡果树图像序列进行基于色差R-G的Otsu阈值分割和形态学处理,接着对图像果实区域进行灰度填充,将处理后的图像序列叠加得到复合图像和目标果实运动区域,求取振荡果实在图像运动区域的二维平衡位置坐标。然后机械手在视觉引导下运动,其末端指向振荡果实二维平衡位置坐标,同时超声传感器检测目标果实深度信息并提取超声回波信号峰峰值进行果实识别,当检测到果实处于适合采摘位置时,机械手爪抓取果实。采摘试验表明,采摘成功率为86%,验证了所采用方法的有效性,为实现采摘机器人实用化提供了参考。     

基于云平台和计算机控制系统的采摘机器人仿真设计

为了提升采摘机器人定位系统的效率及定位准确性,将云平台技术和计算机控制系统引入到了定位系统的设计上,在进行果实定位时,通过云平台和计算机技术对图像进行实时滤波,并对曝光图像进行融合,以提高图像的质量,进而提高图像特征提取和定位的准确性.模拟采摘机器人的作业环境,以机器人定位系统的定位效率和定位误差作为研究对象,对基于云...     

采摘机器人运动目标逼近方法研究——基于分裂迭代和模糊算法

为了解决采摘机器人作业过程中果实振荡造成目标识别不准确的问题,提出了一种针对运动果实的帧间差分法的扰动识别方法,并在帧间差分方法中引入了分裂迭代和模糊控制算法,实现了帧间差分背景图像的分离和子图像的有效聚类。依据该识别方法,对采摘机器人的目标逼近方法进行了改进,从而得到了更加准确的目标空间位置获取方法。为了验证该方法对运动果实目标逼近的有效性,采用虚拟仿真和机器人样机试验相结合的方法,进行了运动果实空间坐标获取和果实采摘试验。结果表明:采用分裂迭代模糊聚类的帧间差分方法,可以有效地对运动目标进行识别,识别误差较低,获得的位置坐标较为准确,可以满足果实采摘机器人的设计需求。     

排球运动规划在采摘机器人识别定位中的应用

为对采摘机器人的识别与定位功能进行优化,将排球机器人的运动规划原理与采摘机器人的控制要求相结合进行应用探讨。通过搭建采摘机器人对果实的识别定位理论模型,运用核心图像识别与处理算法,硬件配置动作执行协调及软件系统后台指令控制,实现多功能性传感装置信息数据的合理性采集与传输,达到实时定位目标。进行了采摘机器人的识别与定位试验,结果表明:在排球机器人运动规划与控制机理下,通过目标与定位图像的有效抓取,采摘定位时间可控制在0.6s左右,综合定位准确率保持在93.8%以上,最高定位准确率可达95.7%,满足采摘机器人作业需求,验证了设计理念的可行性,可为类似农业设备定位开发提供思路。     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统.在图像空间利用Hough变换检测出果实目标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划.实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效等因素的影响,目标定位误差小于8 mm,显著地提高了抓取的精度和可靠性.     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统。在图像空间利用Hough变换检测出果实标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划。实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效 等因素的影响,目标定位误差小于8mm,显著地提高了抓取的精度和可靠性。     

采摘机器人视觉伺服策略研究——基于回归数据挖掘的

为了实现采摘机器人的准确抓取控制、路径识别和自主导航功能,提出了一种基于回归数据挖掘计算模型的机器人视觉伺服控制系统。首先利用双目相机获取果实图像,然后利用拉普拉斯变换和高斯滤波方法对图片进行平滑和增强处理,并利用Canny算法对图像边缘进行检测和分割处理,完成图像的预处理。对图像进行目标识别,提取图像的特征,并采用回归数据挖掘方法对滤波图像进行检验,最终通过计算得到果实图像的中心位置,将中心位置利用控制器反馈给控制中心,控制中心发出指令,控制末端执行器完成果实的采摘作业。对机器人视觉伺服系统进行了测试,结果表明:利用采摘机器人视觉伺服系统可以准确地计算果实的中心位置,实测位置和计算位置的吻合程度较高,视觉伺服系统的计算的稳定性较好。     

基于光学导航的采摘机器人系统设计及定位方法研究

为了提高采摘机器人的定位导航精度,将光学导航方法引入到了采摘机器人控制系统的设计上,通过激光扫描和机器视觉相结合的方法,提高了采摘机器人的作业质量和作业效率。在进行定位时,首先由激光扫描方法对采摘机器人进行定位,得到全局坐标中的位置,然后利用机器视觉系统得到采摘机器人和待采摘目标果实的距离,对果实精确定位后进行采摘。采摘测试结果表明:采用光学导航系统可以准确完成果实目标的定位,可有效提高采摘机器人的采摘精度和采摘效率。     

基于图像边缘检测技术的采摘机器人视觉系统设计

采摘机器人作业环境复杂,视觉系统往往不能准确对待采摘的果树或者果实进行准确的定位。为了提高采摘机器人视觉系统的定位精度,引入了图像边缘检测技术,通过提取待采摘果树或者果实的边缘,计算果实的位置坐标,为采摘机器人的自主行走定位和采摘作业提供可靠数据支持。为了验证方案的可行性,以待采摘果树的特征边缘提取为例,对系统的果树边缘提取的可行性及定位准确性进行了实验。实验结果表明:采用基于图像边缘检测技术的采摘机器人视觉系统可以成功地对果树进行定位,并输出果树的位置坐标,将位置坐标和实测位置坐标进行对比发现,其结果基本吻合,具有较高的定位精度。     

黄瓜采摘机器人远近景组合闭环定位方法

针对黄瓜采摘机器人远景定位精度不高,以致切伤果实和茎蔓的问题,设计了一种基于机器视觉具有空间位置反馈功能的末端执行器。对温室环境下黄瓜果实采摘区域图像信息获取方法加以研究,综合HIS色彩空间H、S分量进行阈值分割,结合RGB色彩空间G通道边缘分布特征以及黄瓜形状特征,提取黄瓜采摘区域。基于摄像机线性透视模型,研究了采摘切割点空间定位方法,最终向采摘机械臂控制器反馈位置微调信息。采用远近景组合闭环定位方法,对采摘目标进行闭环定位,有效地解决了采摘机器人一次远景定位误差较大的问题。试验结果表明,排除温室复杂光照情况,机器人末端执行器定位精度达到2mm,满足采摘作业要求。     

基于深度图像的球形果实识别定位算法

为了解决近色背景果实识别困难问题,针对果实近球形的形态特性,提出了一种利用深度图像从果实形态角度进行果实识别定位的算法。该算法使用深度摄像头获取果树的深度图像,通过深度图像计算出各像素点的梯度向量,将梯度向量看作运动矢量场,并计算出矢量场的散度,根据散度最大原则,从矢量场中搜索出辐散中心点;然后利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点,以果实中心点为起点采用八方向搜索方法搜索出果实边界点,将果实边界点依次连接后形成的封闭区域内的果实图像导入点云;最后根据果实图像部分点云利用RANSAC算法求出目标果实的拟合球形,进而得出果实的尺寸以及三维空间位置。该算法无需传统算法需要利用的颜色特征,而仅利用了深度图像中的深度信息进行果实识别定位,能够克服传统算法受色彩、光照等因素影响的弊端,并且由于该算法完全没有利用到彩色图像信息,因此不仅可以实现绿色果实的识别定位,还可以实现采摘机器人在夜间环境下正常工作,为复杂环境下的果实识别定位算法研究提供了技术支撑。     

排球运动规划在采摘机器人识别与定位中的应用

在排球比赛过程中,扣球是得分最关键的动作之一,为了得到合适位置出手点、角度和力度等优化数据,可以采用排球机器人训练的方法,通过植入人工智能算法,对扣球过程中的数据进行采集,最后通过运动规划使扣球动作达到最佳姿态。排球机器人运动规划方案可以移植到采摘机器人的智能化训练上,加快对果实信息采集和处理效率,从而更快地捕捉到果实目标,对路径规划做出响应,对于提高采摘机器人定位和识别能力具有重要的意义。为了验证方案的可行性,对基于排球机器人运动规划系统的采摘机器人定位识别功能进行了测试,结果表明:采摘机器人可以成功定位和识别果实,且响应速度较快、误差较小,可以满足采摘机器人定位识别功能的设计需求。     

协同关系下多媒体运动与采摘机器人匹配设计研究

基于编码器的采摘机器人控制方法主要是通过机器视觉技术划分各机械臂的作业区间,利用编码器完成多机械臂的协同作业,此方法对图像边缘提取过程中模糊区域的边缘提取效果较差,导致采摘效率低。为此,提出协同关系下多媒体运动与采摘机器人匹配控制方法,将多媒体运动与采摘机器人图像边缘检测相匹配,采用梯度算法,通过滤波、增强、检测和定位等过程实现采摘机器人采摘目标的精确定位。在此基础上,采用基于约束的采摘机器人运动控制算法,通过采摘机器人双臂运动中位置、姿态及各关节速度间的约束关系,实现采摘机器人精确的双臂协同运动。实验表明:所提方法的图像识别和定位准确率平均值分别为98.35%和98.44%,采摘时间与其他两种方法相比分别降低12.07s和16.48s,说明此方法具有较高的识别精度和采摘效率。     

基于单片机和GPS定位的自主导航采摘机器人设计

为了提高采摘机器人的智能化控制水平和自主导航能力,改善机器人的应用限制和使用性能,提出了一种基于单片机和GPS的采摘机器人自主导航方法,克服了采摘机器人导航方式的缺点,显著提高了导航定位的效率和精度。该方法利用GPS实时接收卫星发射的时间、经纬度和高度等信息,通过RS232发送给单片机;单片机对GPS发送数据进行处理,得到控制所需的时间和位置等信息,通过与机器人所处的位置进行比较,调整机器人的姿态,实现路径的智能化追踪和规划。在实验日光温室内对采摘机器人的自主导航性能进行了测试,结果表明:利用单片机和GPS定位可以较为精确地对采摘目标路径进行跟踪,可以使机器人沿着既定路径移动,控制的精度较高,误差较小。     

基于OFDM-MIMO移动通信模型的采摘机器人设计

为了提高果树采摘机器人的智能化和自动化水平,提高机器人的实时通信和在线控制能力,实现机器人作业过程的远程控制,在采摘机器人通信系统中引入了OFDM-MIMO模型,并将移动4G技术应用到了机器人的设计中,突破了机器人控制距离限制,实现了机器人的跨区域无线通信。机器人采用视觉传感器和4G网络采集并传输图像,图像数据可以在远程浏览器端实时显示,便于掌握机器人作业信息。当机器人碰撞传感器发出信号时,可以利用OFDM-MIMO信道模型进行图像的高效传输,并将视觉传感器采集的图像信息传送给远程控制端,在采摘出现失误时可以及时地调整机器人的状态,实现果实采摘的在线控制。同时,设计了机器人的实验样机,并对机器人的果实定位能力和通信能力进行了实验和仿真。实验和仿真结果表明:该种机器人可以有效地识别普通果实和套袋果实,并且通信实验测试和仿真测试的结果吻合,从而验证了结果的可靠性及OFDMMIMO模型在采摘机器人通信系统中的可行性。     

采摘机器人振荡果实动态识别

提出一种采摘机器人在果实振荡状况下的动态识别方法,解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题。首先对所采集的振荡果实图像进行图像分割,将其分为果实和背景两部分;其次引入帧间差分法、水平最小外接矩形法等对分割图像进行振荡果实动态区域的区域标识,然后对其振荡果实进行识别,当图像中有多个振荡果实时,以距离图像中心最近原则确定采摘振荡目标果实。试验结果表明对实际采摘环境下遇到的多数情况,所提算法都能很好地识别出振荡果实,识别时间少于0.5 s。     

基于聚类算法对象提取的快速定位采摘机器人设计

为了提高采摘机器人的定位速度,对机器人的机器视觉系统进行了改进,设计了一种基于聚类算法和视频对象提取技术的快速定位机器人。该机器人视频对象图像提取过程中,在完成图像进行滤波后,引入了Lab彩色空间聚类算法,有效地降低了图像的色彩数和噪声,实现了图像对象的量化处理,大大提高了果实定位和采摘的效率。为了验证设计的快速定位采摘机器人的可靠性,对机器人的采摘性能进行了测试,测试项目主要包括图像处理和果实定位。通过测试发现:快速定位机器人可以有效地实现图像聚类中心的提取,并对聚类中心进行编码,每次定位用时少、定位速度高且果实采摘的准确性累计概率较高,符合高精度、高效率果实采摘机器人的设计需求。     

采摘机器人视觉图像检测应用研究——基于篮球动作捕捉的多媒体数据库系统

采用篮球动作捕捉系统可以实时地对比赛视频进行分析,通过动作捕捉,得到优秀运动员的投篮动作技术特征;但是篮球比赛属于较高强度的对抗性比赛,其移动速度较高,因此捕捉系统需要有较高的精度。将高精度的动作捕捉系统应用在采摘机器人视觉系统设计中,可以有效提高采摘机器人对果实的识别精度,从而提高作业的自动化程度。为了验证方案的可行性,对采摘机器人的视觉系统进行了测试,并以夜间采摘环境为例,对采集的图像进行了平滑和增强处理,成功提取到了果实的边缘特征图像。对采摘机器人视觉系统的目标识别率和定位能力进行了测试,测试结果表明:目标识别率和定位准确率都较高,满足高精度采摘作业的需求。     

果实成熟度识别机器人设计——基于近红外线信号处理

为了提高采摘机器人自动识别果实成熟度的智能化水平,提高果实识别的准确性,实现机器人自主定位和自动规划路径能力,设计了一种新的自动化采摘机器人。该机器人利用图像分割技术和近红外信号处理技术,实现了果实成熟度的自动定位和判别。对采摘机器人的性能进行了测试,包括苹果图像的分割和提取、果实成熟度的判断和机器人路径规划。通过测试发现:机器人可以在复杂采摘背景下准确地识别苹果果实,并可以通过红外线探测实现果实成熟度的判别,最终规划出来合理的采摘路径,实现果实的精准采摘,为果蔬采摘机器人的研究提供了较有价值的参考。