基于机器视觉的采摘机器人果实三维模型重构与识别

为了提高采摘机器人果实定位和识别的准确性,在采摘机器人机器视觉系统的设计上引入了果实三维重构方法,利用二维采集图像信息的处理,通过坐标转换关系,实现了三维模型的构建。为了验证三维模型重构对机器视觉果实识别准确性的提高作用,模拟青椒夜间作业的采摘环境,对不采用三维重构和采用三维重构技术两种情况下的果实识别准确率进行了对比,结果表明:采用三维重构技术可以明显提高果实的定位识别准确率,对于采摘机器人机器视觉系统的优化具有重要的意义。     

基于图像边缘检测技术的采摘机器人视觉系统设计

采摘机器人作业环境复杂,视觉系统往往不能准确对待采摘的果树或者果实进行准确的定位。为了提高采摘机器人视觉系统的定位精度,引入了图像边缘检测技术,通过提取待采摘果树或者果实的边缘,计算果实的位置坐标,为采摘机器人的自主行走定位和采摘作业提供可靠数据支持。为了验证方案的可行性,以待采摘果树的特征边缘提取为例,对系统的果树边缘提取的可行性及定位准确性进行了实验。实验结果表明:采用基于图像边缘检测技术的采摘机器人视觉系统可以成功地对果树进行定位,并输出果树的位置坐标,将位置坐标和实测位置坐标进行对比发现,其结果基本吻合,具有较高的定位精度。     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统.在图像空间利用Hough变换检测出果实目标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划.实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效等因素的影响,目标定位误差小于8 mm,显著地提高了抓取的精度和可靠性.     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统。在图像空间利用Hough变换检测出果实标，并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型，进而获得目标质心的空间位置坐标；通过最小二乘法研究了采摘机器人手眼标定；分析了采摘机器人的轨迹规划。实验结果表明，设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效 等因素的影响，目标定位误差小于8mm，显著地提高了抓取的精度和可靠性。     

基于VC++6.0的柿子采摘视觉研究及特征参数的提取

实现准确采摘离不开识别和定位这两个关键环节。要实现精确定位首先就必须准确识别果实,确定果实的质心、半径,在此基础上进行三维立体坐标的标定,从而精确计算出果实的空间位置,实现准确采摘。本文在已经获取果实图像的基础上,基于VC++6.0研究果实各种参数提取所需要的图像处理函数,比如阈值变换、窗口变换、中值滤波、梯度锐化、边缘检测、轮廓提取等,以及各种特征参数计算函数,如计算球形果的质心、半径、周长、面积、圆形度、伸长度等的函数。通过对各个果实识别各个环节所需函数来研究采摘机器人的视觉。     

采摘机器人视觉图像检测应用研究——基于篮球动作捕捉的多媒体数据库系统

采用篮球动作捕捉系统可以实时地对比赛视频进行分析,通过动作捕捉,得到优秀运动员的投篮动作技术特征;但是篮球比赛属于较高强度的对抗性比赛,其移动速度较高,因此捕捉系统需要有较高的精度。将高精度的动作捕捉系统应用在采摘机器人视觉系统设计中,可以有效提高采摘机器人对果实的识别精度,从而提高作业的自动化程度。为了验证方案的可行性,对采摘机器人的视觉系统进行了测试,并以夜间采摘环境为例,对采集的图像进行了平滑和增强处理,成功提取到了果实的边缘特征图像。对采摘机器人视觉系统的目标识别率和定位能力进行了测试,测试结果表明:目标识别率和定位准确率都较高,满足高精度采摘作业的需求。     

基于单目视觉与超声检测的振荡果实采摘识别与定位

针对采摘机器人在果实振荡情况下因难以精确定位影响采摘效率的问题,提出了一种基于单目视觉与超声检测的振荡果实识别与定位方法。首先对采集的振荡果树图像序列进行基于色差R-G的Otsu阈值分割和形态学处理,接着对图像果实区域进行灰度填充,将处理后的图像序列叠加得到复合图像和目标果实运动区域,求取振荡果实在图像运动区域的二维平衡位置坐标。然后机械手在视觉引导下运动,其末端指向振荡果实二维平衡位置坐标,同时超声传感器检测目标果实深度信息并提取超声回波信号峰峰值进行果实识别,当检测到果实处于适合采摘位置时,机械手爪抓取果实。采摘试验表明,采摘成功率为86%,验证了所采用方法的有效性,为实现采摘机器人实用化提供了参考。     

采摘机器人移动果实目标跟踪研究——基于云存储和无线传感器网络

提高采摘机器人对运动目标的定位能力是提高机器人采摘精度的重要途径,但对于运动果实目标的跟踪和识别需要实时处理大量的图像数据。为有效处理并利用无线传感器实时采集待采摘果实图像,提出了一种基于Hadoop云平台的图像并行处理方案。为了验证方案的可行性,设计了具有运动图像采集和无线传感网络传输功能的采摘机器人,并搭建了基于云存储并行计算的图像抓取平台,利用无线传感器采集的果实图像资源作为原始数据集,对运动待采摘目标进行了图像识别。实验结果表明:采用该方案可以成功地获取运动果实的位置信息,且采摘机器人成功采摘率较高,对于高精度采摘机器人的设计研究具有重要的意义。     

基于光学导航的采摘机器人系统设计及定位方法研究

为了提高采摘机器人的定位导航精度,将光学导航方法引入到了采摘机器人控制系统的设计上,通过激光扫描和机器视觉相结合的方法,提高了采摘机器人的作业质量和作业效率。在进行定位时,首先由激光扫描方法对采摘机器人进行定位,得到全局坐标中的位置,然后利用机器视觉系统得到采摘机器人和待采摘目标果实的距离,对果实精确定位后进行采摘。采摘测试结果表明:采用光学导航系统可以准确完成果实目标的定位,可有效提高采摘机器人的采摘精度和采摘效率。     

基于视觉传感器的棉花果实定位方法

针对棉花采摘机器人,提出了一种快速、准确的实现棉花果实定位的方法,构建了以CMOS图像传感器为基础的双目图像采集系统。其中,两个由单片机控制的CMOS图像传感器对图像信息进行二值化处理。考虑数据在RAM中的存储形式,采用行列组合法求解果实在单目下的质心平面坐标(以像素点为单位),构建以左目坐标为基准的三维坐标系,单片机对传递过来的同一个果实的两组质心平面坐标,依据立体视差的关系,解得果实的空间坐标,完成果实的定位。     

非结构环境中扰动葡萄采摘点的视觉定位技术

非结构环境下采摘机器人对扰动葡萄采摘点的视觉识别定位有实际应用价值。首先基于"挠性杆-铰链-刚性杆-质量球"模型对葡萄串形态进行分析,将其扰动状态分解为XOY和YOZ 2个平面的类单摆运动,对扰动葡萄进行视频拍摄,通过对视频中多帧葡萄图像进行Otsu阈值分割得到果实和果梗,并计算出各帧图像中葡萄串的质心;对各帧图像的葡萄串质心进行曲线拟合,计算出葡萄类单摆运动的周期与摆角,从而确定当前扰动葡萄是否适合视觉定位;对可实现视觉定位的扰动葡萄,选取类单摆中间位置质心点对应的葡萄图像,对葡萄串上方矩形区域进行Canny边缘检测,再利用霍夫直线拟合结合角度约束法实现扰动葡萄采摘点的定位。视觉定位试验结果表明:自然环境中不同光照下扰动葡萄采摘点的视觉定位准确率达80%以上,为采摘机器人应用于实际生产提供了理论基础。     

西红柿采摘机器人视觉系统的研究

针对果实采摘机器人果实识别率低的问题,设计了一组用于西红柿识别和定位的双目立体视觉系统,为机器人的采摘作业提供更有利的条件。为此,采用Bumblebee双目立体视觉系统,基于成熟果实与植株颜色特征的差异进行图像分割,来识别成熟的西红柿;在完成相机标定、特征点提取和特征点匹配的基础上,通过三维空间定位获取果实的三维坐标。实验结果表明:该系统果实识别的整个过程平均耗时150ms,对成熟西红柿的识别率达到99%,测试误差在10mm以内,能够较好地满足西红柿采摘工作的要求。     

基于遗传迭代和模糊控制的采摘机器人目标追踪算法

为了提高采摘机器人目标追踪的效率和精度,在机器人视觉系统和控制系统的设计上引入了遗传迭代算法和模糊PID控制器,通过对图像处理过程和机械执行末端动作过程进行优化,可以得到更佳的采摘效果。在视觉系统对采摘图像进行处理时,可以通过遗传迭代算法对高质量图像进行筛选,并提高果实成熟度匹配的效率,果实识别后采用模糊PID控制算法对机器人执行末端进行控制,使其可以以更高的精度追踪到果实,执行采摘任务。     

基于视觉测量的茶叶嫩芽定位方法研究

针对目前名优茶采摘效率低以及名优茶的采摘具有较强的时效性等问题,提出用双目摄像头定位茶叶嫩芽,以此推动自动化采茶设备的研发。采用双目立体视觉技术获取茶叶嫩芽的三维坐标信息,用于引导采摘机械臂进行自动化采摘作业。试验以茶园中的茶树为研究对象,根据SGBM算法获得一幅视差图像。然后通过OpenCV中reprojectImageTo3D函数得到深度图像,最后对照左摄像机中嫩芽形心在深度图像中的位置,获取茶叶嫩芽的三维坐标信息。实验结果表明,所采用的方案能够较为精确地定位出茶叶三维立体坐标,为后续自主采茶机器人的研发提供了技术支持。     

基于CMOS图像传感器的采摘机器人嵌入式视觉系统

为了提高采摘机器人的自动化程度,实现自主导航和自主采摘作业能力,将基于CMOS图像传感器的嵌入式视觉系统引入到了采摘机器人的设计过程中,有效降低了机器人的设计复杂程度,提高了机器人的设计效率。采用DSP主控芯片构建了嵌入式图像处理系统,可以处理CMOS相机实时采集的图像,并采用模块化设计,构建了包括通讯单元、存储单元及视频输入输出接口的硬件系统,使各模块之间协调工作。为了验证方案的可行性,对一款果实采摘机器人进行了改装,安装了嵌入式视觉系统,并对其性能进行了测试。测试结果表明:采用基于CMOS图像传感器嵌入式视觉系统后,采摘机器人的定位准确率和采摘准率率都较高,满足了自动化采摘作业需求。     

基于聚类算法对象提取的快速定位采摘机器人设计

为了提高采摘机器人的定位速度,对机器人的机器视觉系统进行了改进,设计了一种基于聚类算法和视频对象提取技术的快速定位机器人。该机器人视频对象图像提取过程中,在完成图像进行滤波后,引入了Lab彩色空间聚类算法,有效地降低了图像的色彩数和噪声,实现了图像对象的量化处理,大大提高了果实定位和采摘的效率。为了验证设计的快速定位采摘机器人的可靠性,对机器人的采摘性能进行了测试,测试项目主要包括图像处理和果实定位。通过测试发现:快速定位机器人可以有效地实现图像聚类中心的提取,并对聚类中心进行编码,每次定位用时少、定位速度高且果实采摘的准确性累计概率较高,符合高精度、高效率果实采摘机器人的设计需求。     

融合Harris与SIFT算法的荔枝采摘点计算与立体匹配

为了满足荔枝收获机器人对整串果实采摘作业的需求,提出一种融合Harris与SIFT算法的荔枝采摘点计算与立体匹配方案。首先在已识别的荔枝结果母枝部位进行Harris角点检测,结合提取已识别荔枝果实区域质心与最小外接矩形等特征信息,进行采摘点二维像素坐标的计算。然后通过对比分析,提出对计算采摘点采用带约束条件基于余弦相似度的SIFT双目立体匹配,最后进行采摘点计算与双目立体匹配实验验证。结果表明,计算采摘点的匹配成功率可达89.55%,且该方法更能满足在结构复杂的结果母枝上采摘点计算的精度需求。     

采摘机器人视觉伺服策略研究——基于回归数据挖掘的

为了实现采摘机器人的准确抓取控制、路径识别和自主导航功能,提出了一种基于回归数据挖掘计算模型的机器人视觉伺服控制系统。首先利用双目相机获取果实图像,然后利用拉普拉斯变换和高斯滤波方法对图片进行平滑和增强处理,并利用Canny算法对图像边缘进行检测和分割处理,完成图像的预处理。对图像进行目标识别,提取图像的特征,并采用回归数据挖掘方法对滤波图像进行检验,最终通过计算得到果实图像的中心位置,将中心位置利用控制器反馈给控制中心,控制中心发出指令,控制末端执行器完成果实的采摘作业。对机器人视觉伺服系统进行了测试,结果表明:利用采摘机器人视觉伺服系统可以准确地计算果实的中心位置,实测位置和计算位置的吻合程度较高,视觉伺服系统的计算的稳定性较好。     

基于图像融合技术的采摘机器人自主导航技术研究

为了提高采摘机器人自主导航的精度,避免因环境的复杂性引起的视觉导航采集图像的质量问题,将图像融合技术引入到了采摘机器人导航视觉系统的设计上,通过对多实时采集图像的融合处理,提高采集图像的质量。为了验证方案的可行性,模拟草莓采摘机器人作业环境,对多曝光图像进行了融合处理,并利用4种评价指标对融合后的图像质量进行了评价,将评价结果进行了统计。评价结果表明:采用IHS图像融合算法具有明显的优势,将其使用在采摘机器人的导航视觉系统中将发挥重要的作用。     

基于OFDM-MIMO移动通信模型的采摘机器人设计

为了提高果树采摘机器人的智能化和自动化水平,提高机器人的实时通信和在线控制能力,实现机器人作业过程的远程控制,在采摘机器人通信系统中引入了OFDM-MIMO模型,并将移动4G技术应用到了机器人的设计中,突破了机器人控制距离限制,实现了机器人的跨区域无线通信。机器人采用视觉传感器和4G网络采集并传输图像,图像数据可以在远程浏览器端实时显示,便于掌握机器人作业信息。当机器人碰撞传感器发出信号时,可以利用OFDM-MIMO信道模型进行图像的高效传输,并将视觉传感器采集的图像信息传送给远程控制端,在采摘出现失误时可以及时地调整机器人的状态,实现果实采摘的在线控制。同时,设计了机器人的实验样机,并对机器人的果实定位能力和通信能力进行了实验和仿真。实验和仿真结果表明:该种机器人可以有效地识别普通果实和套袋果实,并且通信实验测试和仿真测试的结果吻合,从而验证了结果的可靠性及OFDMMIMO模型在采摘机器人通信系统中的可行性。