基于深度双目视觉处理的智能采摘机器人设计

针对采摘机器人对果蔬的位置定位不够准确、无法准确避障,导致采摘效率较低的问题基于深度双目视觉处理对智能采摘机器人进行了设计。智能采摘机器人的主要组成包括PLC控制器、视觉系统、移动平台、导航系统、机械臂、通信系统和电源。为了对采摘机器人的机械臂进行最优路径规划并避障,通过对采集的图像进行预处理后,利用双目视觉系统对果蔬进行精准定位,然后采用哈夫变换直线检测的方法进行最优路径的设计和选择,最终确定最优采摘路径。对采摘机器人进行运动轨迹精度试验和采摘试验,结果表明：采摘机器人对果蔬的采摘成功率较高,可以满足果农对于采摘机器人的要求。     

高架栽培草莓采摘机器人系统设计

为了提高草莓采收自动化水平,针对高架栽培草莓设计了自动采摘机器人系统,其采用无线遥控和语音提示相结合的人机交互方式,可以对机器人本体两侧果实同时进行采摘。该系统采用机器视觉和声纳测距相结合的方式实现了自主导航,通过双目视觉相机对果实进行识别和空间定位,由关节型机械臂操纵末端执行器进行定位。系统末端执行器采用果实吸附、果柄夹持和电热切割的方式对果实进行柔性操作。针对系统控制方案,制定了采摘机器人系统作业流程,并对机械臂末端运动路径节点和时间节拍进行规划,防止与周围环境发生运动干涉,保证机器人作业效率。试验结果表明,草莓采摘机器人系统末端定位平均误差小于2.2mm,单次采摘作业平均耗时10.99s。     

农业采摘机器人视觉感知关键技术研究

为了提高农业机器人在复杂野外环境下采摘油茶果的速度和准确性,针对机器人视觉感知的关键技术,设计了一种农业机器人果实检测、定位和采摘系统。首先,使用双目相机采集油茶果的左右图像;然后,应用先进的目标检测网络YOLOv4-tiny检测出左右图像中的油茶果;再次,不同于传统的双目相机图像的立体匹配技术,根据YOLOv4-tiny网络生成的预测框提取出油茶果图像的感兴趣区域,并根据预测框的生成机制自适应地进行立体匹配以求解出视差,为后续使用三角测量原理求出油茶果采摘点提供参考;最后,使用基于Eye-in-Hand手眼标定的农业机器人进行采摘试验,验证了本研究的可行性和准确性。试验结果表明：YOLOv4-tiny网络能够精确和实时地检测油茶果,提出的定位方法满足采摘机器人的应用需求,验证了本研究的可行性和准确性。研究可为果园环境中作业的农业采摘机器人视觉感知关键技术提供参考。     

双目立体视觉在果树采摘机器人中的应用

果树采摘机器人是未来智能农业机械化的发展方向,具有广阔的应用前景。为此,针对果树采摘机器人作业环境的复杂性与定位目标的特殊性,从双目定位的几何模型出发,归纳了双目定位的基本过程,总结了立体视觉的摄像机标定问题,提出变焦距双目视觉定位果实的研究方向,并对双目图像的匹配问题进行了分析。     

温室草莓采摘机器人设计与试验

为实现温室草莓采摘机械化和自动化,设计并制作一种应用于日光温室的草莓采摘机器人。该机器人能实现自主路径规划,行走过程中识别成熟草莓并完成采摘。设计以ROS分布式计算系为主控制网络,以激光雷达进行移动机器人的地图构建与定位,双目深度相机实现对成熟草莓的识别和定位,搭载柔性仿生夹爪6自由度机械臂实现目标草莓抓取和放置。设计机器人软件平台,使用改进A*算法实现自主路径规划和导航避障;利用R-FCN目标检测网络和双目视觉技术实现成熟草莓检测及定位。结果表明：该草莓采摘机器人可实现目标检测及定位,检测到的草莓坐标与机器人手爪坐标的误差在4 mm以下,成熟草莓识别率为95%,满足采摘要求。     

视觉传感器在采摘机器人目标果实识别系统中的应用

目标果实的识别和定位是准确采摘的核心,是采摘作业的必要条件。为此,首先从硬件和软件两方面对采摘机器人总体框架进行了介绍,然后搭建了双目视觉系统,并建立了摄像机标定模型,最后实现了对目标果实的识别和定位功能。试验结果表明:采摘机器人目标果实识别系统对目标果实的识别定位误差在8mm以内,成功采摘率在96%以上,系统精度高,采摘效果良好,能够满足采摘机器人的作业要求,对实现水果采摘的自动化、无人化具有重要现实意义。     

一种高精度自主导航定位的葡萄采摘机器人设计

为了提高葡萄采摘机器人自主导航能力,增强对葡萄成熟度的准确识别功能,降低漏采率和误采率,设计了一种新式的基于RSSI自主导航和颜色特征提取的葡萄采摘机器人。该机器人使用RSSI定位技术,首先对装有无线传感器的葡萄树进行定位,然后利用机器视觉系统对葡萄的成熟度进行判断,并对满足采摘条件的葡萄使用机械手进行采摘。对葡萄采摘机器人的性能进行了测试,通过测试发现:机器人对装有传感器的葡萄树的准确识别率达到了95%以上,对葡萄成熟度的判断达到了98%以上,是一种相对高效的葡萄采摘机器人。     

西红柿采摘机器人视觉系统的研究

针对果实采摘机器人果实识别率低的问题,设计了一组用于西红柿识别和定位的双目立体视觉系统,为机器人的采摘作业提供更有利的条件。为此,采用Bumblebee双目立体视觉系统,基于成熟果实与植株颜色特征的差异进行图像分割,来识别成熟的西红柿;在完成相机标定、特征点提取和特征点匹配的基础上,通过三维空间定位获取果实的三维坐标。实验结果表明:该系统果实识别的整个过程平均耗时150ms,对成熟西红柿的识别率达到99%,测试误差在10mm以内,能够较好地满足西红柿采摘工作的要求。     

采摘机器人果实识别与定位研究——基于双目视觉和机器学习

分析了双目视觉系统的工作原理及视觉标定方法,利用YOLO V2卷积神经网络算法实现对目标果实的识别,并对目标果实的空间定位进行了深入研究,设计了一套基于双目视觉和机器学习的采摘机器人果实识别与定位系统。在多次实际定位实验中,橘子的深度定位误差最大值为1.06mm,证实了系统具有一定的准确性和稳定性。     

基于视觉测量的茶叶嫩芽定位方法研究

针对目前名优茶采摘效率低以及名优茶的采摘具有较强的时效性等问题,提出用双目摄像头定位茶叶嫩芽,以此推动自动化采茶设备的研发。采用双目立体视觉技术获取茶叶嫩芽的三维坐标信息,用于引导采摘机械臂进行自动化采摘作业。试验以茶园中的茶树为研究对象,根据SGBM算法获得一幅视差图像。然后通过OpenCV中reprojectImageTo3D函数得到深度图像,最后对照左摄像机中嫩芽形心在深度图像中的位置,获取茶叶嫩芽的三维坐标信息。实验结果表明,所采用的方案能够较为精确地定位出茶叶三维立体坐标,为后续自主采茶机器人的研发提供了技术支持。     

基于机器视觉的机器人智能采摘实验平台开发

针对如何实现快速、高效的采摘,提出机器人智能采摘实验平台系统,该采摘机器人依靠视觉反馈控制来识别采摘物的位置。研究机器人手臂的运动控制,构建机器人的运动学模型。分析机械手的视觉伺服控制问题,直接将图像位置误差矢量映射到所需的末端执行器速度矢量。对机器人智能采摘进行试验分析,试验任务进行171次,准确率94.67%。试验结果验证该视觉伺服控制方法在实际场景中对采摘物识别效率,提高视觉伺服系统的鲁棒性和有效性。     

非结构环境中扰动葡萄采摘点的视觉定位技术

非结构环境下采摘机器人对扰动葡萄采摘点的视觉识别定位有实际应用价值。首先基于"挠性杆-铰链-刚性杆-质量球"模型对葡萄串形态进行分析,将其扰动状态分解为XOY和YOZ 2个平面的类单摆运动,对扰动葡萄进行视频拍摄,通过对视频中多帧葡萄图像进行Otsu阈值分割得到果实和果梗,并计算出各帧图像中葡萄串的质心;对各帧图像的葡萄串质心进行曲线拟合,计算出葡萄类单摆运动的周期与摆角,从而确定当前扰动葡萄是否适合视觉定位;对可实现视觉定位的扰动葡萄,选取类单摆中间位置质心点对应的葡萄图像,对葡萄串上方矩形区域进行Canny边缘检测,再利用霍夫直线拟合结合角度约束法实现扰动葡萄采摘点的定位。视觉定位试验结果表明:自然环境中不同光照下扰动葡萄采摘点的视觉定位准确率达80%以上,为采摘机器人应用于实际生产提供了理论基础。     

田间果蔬采摘机器人视觉传感器设计与试验

针对田间果蔬采摘机器视觉识别与定位的需求,设计嵌入式采摘视觉传感器,内嵌130万像素CMOS图像传感器和开放性MCU,配置亮度处理模块和室外光自适应控制专家库,解决室外光变化影响视觉检测的难题.用主从传感器构造双目视觉系统,配置图像分割和测距算法,进行采摘目标的识别与定位.经试验和测试,在采摘臂长范围内,对成熟西红柿的识别有效率为96%,位置误差±12 mm.     

基于视觉组合的苹果作业机器人识别与定位

为实现机器人自动化采摘作业,设计了苹果作业机器人识别与定位系统.模拟人类采摘过程,采用单、双目视觉组合传感器系统,克服了现有识别与定位系统对目标到视觉传感器距离的依赖性.实现了对单、双目视觉系统的单独和组合标定,与手动测量结果相比,双目视觉系统标定后3个方向的标准偏差分别为3.4、1.2和1.2 cm.提出了基于苹果颜色、形状和位置特征的识别与定位方法,试验结果表明:当工作距离为240 cm时,双目视觉系统可以准确识别并定位所有苹果,深度方向标准差为4.9 em;当工作距离为150 cm时,双目视觉系统深度方向标准差为2.4 cm;当工作距离小于100 cm时,单目视觉传感器测量目标到传感器距离的标准偏差为1.0 cm.     

基于计算机视觉的瓜果采摘系统的运用研究

采摘机器人被广泛用于各种农产品的收获,能显著降低农业生产中的人力成本,解决目前农业生产中劳动力匮乏的问题。计算机视觉技术可以将成熟的瓜果从其自然生长环境中识别出来,是采摘机器人实现目标定位和协调机械手的关键。针对目前采摘机器人受瓜果不同形态特征、质地影响和通用性较低等问题,通过优化公式算法和模型,设计出了基于计算机视觉的采摘系统,并对黄瓜、西红柿和柑桔这3种瓜果进行图像识别和采摘。试验结果发现:不同瓜果图像整体识别率达到80%以上,对图像中重叠遮挡的瓜果个体识别率也较高,均超过90%。该计算机视觉系统装载到采摘机器人上后,在自然条件下对3种瓜果采摘成功率在70%以上,可实现对不同瓜果的高效采摘,为采摘机器人更好地满足农业生产的实际需求提供了研究基础。     

采摘机器人水果检测及定位研究——基于图像处理和卷积神经网络

首先,设计了一种采用K-means聚类算法和图像处理相结合的目标边缘识别算法,可以获得完整的目标边缘轮廓;然后,利用卷积神经网络和双目视觉技术实现了采摘机器人水果检测及定位方法。实验结果表明:该采摘机器人水果检测及定位方法较好,计算量小,处理速度快,误差较小,能够满足采摘要求。     

智能移动式水果采摘机器人设计——基于机器视觉技术

自动化和计算机智能控制行业的不断发展,使得智能机器人在各个领域的应用已经十分普遍。目前,我国绝大部分水果采摘工作依然靠人工完成,随着工人工资不断攀升,人工采摘水果增加了果农的经济成本,机器人在农业领域方面的需求越来越迫切。为此,基于机器视觉技术设计了智能移动式水果采摘机器人,集可移动载体、机械手臂、夹持器、横向移动机构及智能控制模块于一身,采用双目立体视觉技术,实现了水果采摘机器人移动行走路径的规划、果实成熟度自动判断及对成熟果实定位识别的功能。试验表明:所设计的采摘机器人采用视觉技术,机械结构简易,能够克服气候环境影响因素,运行过程中性能稳定、效率高、可靠性高、适应能力强。     

基于VR场景设计的采摘机器人协同作业分析

以进一步提高采摘机器人协同作业的可视性与效率为目标,将VR设计理念与采摘机器结合,针对VR场景下采摘机器人协同作业展开研究。通过考虑环境信息、植物成像、动态交互功能等基础条件,以采摘机器人各部件作业运动机理为依据,搭建采摘机器人VR场景,将采摘系统划分为多个子系统进行采摘作业的动作实现与路径调整,在数据、模型、知识等多部件协同控制支撑下进行VR场景采摘作业试验。结果表明:经系统协同感知与核心算法控制,采摘机器人各部件在自由度协调、对象及位置闭环调控条件下,得到理论计算定位与实际仿真误差控制在0～8mm范围内,机器人协同采摘的作业耗时最短为1.89s,平均耗时为2.06s,采摘成功率可达到96.8%,设计可行。VR场景设计下的采摘机器人整体协同作业分析保证了采摘机器人作业的柔韧度与协调性,对于采摘机器人部件结构改善及类似农机化设备的可视化开发具有很好的参考价值。     

基于双目视觉的农业机器人运动定位与避障研究

针对当前机器人定位避障技术中,感知外界环境信息单一及误差大等问题,提出了一种基于双目视觉的农业机器人运动定位和避障系统,可以通过双目视觉采集农业机器人周边的环境信息,实现农业机器人运动定位和避障。MatLab实验结果表明:农业机器人从起点成功到达终点,算法路径为最优避障路径,证明了系统的准确性和可行性。     

基于光学导航的采摘机器人系统设计及定位方法研究

为了提高采摘机器人的定位导航精度,将光学导航方法引入到了采摘机器人控制系统的设计上,通过激光扫描和机器视觉相结合的方法,提高了采摘机器人的作业质量和作业效率。在进行定位时,首先由激光扫描方法对采摘机器人进行定位,得到全局坐标中的位置,然后利用机器视觉系统得到采摘机器人和待采摘目标果实的距离,对果实精确定位后进行采摘。采摘测试结果表明:采用光学导航系统可以准确完成果实目标的定位,可有效提高采摘机器人的采摘精度和采摘效率。