双目立体视觉在果树采摘机器人中的应用

果树采摘机器人是未来智能农业机械化的发展方向,具有广阔的应用前景。为此,针对果树采摘机器人作业环境的复杂性与定位目标的特殊性,从双目定位的几何模型出发,归纳了双目定位的基本过程,总结了立体视觉的摄像机标定问题,提出变焦距双目视觉定位果实的研究方向,并对双目图像的匹配问题进行了分析。     

基于深度强化学习的虚拟机器人采摘路径避障规划

针对采摘机器人在野外作业环境中,面临采摘任务数量多,目标与障碍物位置具有随机性和不确定性等问题,提出一种基于深度强化学习的虚拟机器人采摘路径避障规划方法,实现机器人在大量且不确定任务情况下的快速轨迹规划。根据机器人本体物理结构设定虚拟机器人随机运动策略,通过对比分析不同网络输入观测值的优劣,结合实际采摘行为设置环境观测集合,作为网络的输入;引入人工势场法目标吸引和障碍排斥的思想建立奖惩函数,对虚拟机器人行为进行评价,提高避障成功率;针对人工势场法范围斥力影响最短路径规划的问题,提出了一种方向惩罚避障函数设置方法,将障碍物范围惩罚转换为单一方向惩罚,通过建立虚拟机器人运动碰撞模型,分析碰撞结果选择性给予方向惩罚,进一步优化了规划路径长度,提高采摘效率;在Unity内搭建仿真环境,使用ML-Agents组件建立分布式近端策略优化算法及其与仿真环境的交互通信,对虚拟机器人进行采摘训练。仿真实验结果显示,不同位置障碍物设置情况下虚拟机器人完成采摘任务成功率达96.7%以上。在200次随机采摘实验中,方向惩罚避障函数方法采摘成功率为97.5%,比普通奖励函数方法提高了11个百分点,采摘轨迹规划平均耗时0.64s/次,相较于基于人工势场法奖励函数方法降低了0.45s/次,且在连续变动任务实验中具有更高的适应性和鲁棒性。研究结果表明,本系统能够高效引导虚拟机器人在避开障碍物的前提下快速到达随机采摘点,满足采摘任务要求,为真实机器人采摘路径规划提供理论与技术支撑。     

智能移动式水果采摘机器人设计——基于机器视觉技术

自动化和计算机智能控制行业的不断发展,使得智能机器人在各个领域的应用已经十分普遍。目前,我国绝大部分水果采摘工作依然靠人工完成,随着工人工资不断攀升,人工采摘水果增加了果农的经济成本,机器人在农业领域方面的需求越来越迫切。为此,基于机器视觉技术设计了智能移动式水果采摘机器人,集可移动载体、机械手臂、夹持器、横向移动机构及智能控制模块于一身,采用双目立体视觉技术,实现了水果采摘机器人移动行走路径的规划、果实成熟度自动判断及对成熟果实定位识别的功能。试验表明:所设计的采摘机器人采用视觉技术,机械结构简易,能够克服气候环境影响因素,运行过程中性能稳定、效率高、可靠性高、适应能力强。     

基于嵌入式智能控制系统的采摘机器人定位导航方法

利用图像、红外、超声波等传感器模块,感知采摘机器人作业环境,以采摘机器人在园区自主避障和移动为目的,研究了采摘机器人路径规划和定位导航方法,并利用嵌入式控制系统,设计和开发了该采摘机器人定位导航方法。实验结果表明:系统可以实现采摘机器人的定位和导航功能,具有一定的可靠性。     

基于单目视觉的采摘机器人障碍物检测和路径规划

具有自主作业能力的采摘机器人一直是国际上研究的热点,而障碍物检测躲避能力是其重要的功能,因为在机器人识别作业区域或成熟果实后需要自主的定位和移动。为此,提出了一种基于单目视觉和人工势能场的障碍物检测和避障算法,可以有效采集和检测障碍物的信息,再依据障碍物及目标区域的距离使用人工势能场方法对路径进行优化,实现采摘机器人的自主移动。为了验证障碍物检测和避障方案的可行性,模拟采摘机器人作业环境和自主移动流程,对采摘机器人避障行为进行了测试。测试结果表明:采用单目视觉和人工势场方法可以使机器人成功的避障,并规划出效率最高的到达目标作业区域路径,对采摘机器人自主导航技术的研究具有重要的意义。     

基于PLC和机器视觉的采摘机器人智能控制系统设计

利用PLC和机器视觉技术,采用图像传感器拍摄水果图像,提取出目标水果图像的坐标和位姿,并以此驱动控制采摘机器人以最优路径和最佳姿态采摘到目标水果.为了验证系统稳定性,在苹果种植区进行了实际采摘试验,结果表明:采摘机器人机械手可以稳定抓持到目标苹果并完成采摘过程,且期间耗时较短,具有较强的稳定性.     

采摘机器人深度视觉伺服手-眼协调规划研究

针对现有采摘机器人的识别-采摘精度与效率偏低等问题,开展了采摘机器人深度视觉伺服手-眼协调规划研究。开发了在手RealSense深度伺服的小型升降式采摘机器人,进行了采放果的工作空间与姿态分析,针对“眼在手上”模式建立了手-眼协调的坐标变换模型。对采摘机器人提出了基于在手RealSense深度伺服的由远及近手眼协调策略,并根据RealSense与机械臂参数完成了基于深度视觉的远近景协调关键点间分段动作规划。手眼协调采摘试验表明,末端在X、Y、Z方向的平均定位精度为3.51、2.79、3.35mm,平均耗时为19.24s,其中机械臂从初始位开始采果的平均耗时为12.04s,中间识别与运算的平均耗时为3.82s,放果动作平均耗时为7.2s,机械臂动作耗时占整个环节的80.2%。该机器人结构和在手RealSense深度伺服的手眼协调策略可满足采摘作业需求。     

采摘机器人果实识别与定位研究——基于双目视觉和机器学习

分析了双目视觉系统的工作原理及视觉标定方法,利用YOLO V2卷积神经网络算法实现对目标果实的识别,并对目标果实的空间定位进行了深入研究,设计了一套基于双目视觉和机器学习的采摘机器人果实识别与定位系统。在多次实际定位实验中,橘子的深度定位误差最大值为1.06mm,证实了系统具有一定的准确性和稳定性。     

基于激光视觉的智能识别苹果采摘机器人设计

为了提高苹果采摘视觉识别系统的精度,增强视觉系统的抗干扰能力和自适应能力,设计了一种新的苹果采摘机器人激光视觉识别系统,可以直接获得层次关系的深度图像,实现了果园非结构化环境中果实的识别与定位。为了测试激光识别系统苹果采摘机器人的采摘效果,在果园中对其采摘性能进行了测试:首先采用高清相机完成了对果实图像的采集,通过图像处理准确地实现了苹果的识别,在遮挡率低于50%时其识别率达到了90%以上;然后利用激光测距方法对苹果进行距离测量,成功定位了果实位置,其响应时间仅为3.58s,动作效率快,实现了苹果的高效率、高精度采摘功能。     

基于双目视觉的农业机器人运动定位与避障研究

针对当前机器人定位避障技术中,感知外界环境信息单一及误差大等问题,提出了一种基于双目视觉的农业机器人运动定位和避障系统,可以通过双目视觉采集农业机器人周边的环境信息,实现农业机器人运动定位和避障。MatLab实验结果表明:农业机器人从起点成功到达终点,算法路径为最优避障路径,证明了系统的准确性和可行性。     

基于计算机网络算法的智能采摘机器人设计

为了提高采摘机器人的路径规划能力,基于计算机网络算法设计了智能采摘系统。首先,采摘机器人采集农田图像时,基于PSPNet网络算法,设计改进型计算机网络算法,实现农田环境因素识别;其次,识别获得道路特征图,并进行图像处理,得到道路边缘,拾取道路两边缘中线离散点,进行引导线拟合;最后,采用双目视觉系统实现障碍物定位,进而建立路径规划函数,当路径规划函数取最小值时,道路规划最优。对引导线精度进行测试,结果表明：误差分布范围为-1.2%～5.3%。对障碍物测距进行测试,结果表明：机器人和行人之间的相对偏差分布区间为[-2.2%, 2.8%],和车辆之间的相对误差分布区间为[-2.9%, 3.4%]。     

采摘机器人智能监控和路径规划设计研究

为了提高采摘机器人自主导航和自动化定位能力,提升机器视觉的路径规划精度,基于 TI 公司的MSP430 F149 单片机,设计了一款具有监控终端和GPS导航功能的自动采摘机器人,实现了机器人路径规划实时处理、通讯、定位、报警一体化和自动化控制功能. 通过测试发现,MSP430F149 单片机具有功耗低、体积小、操作简单,便于系统管理维护等优点. 对机器人5 种路径规划的总体行驶精度路、径规划的移动时间利用率、路径规划的漏采率进行了测试,通过测试发现:5 种路径规划中套行法的各种指标测试效果最好. 同时,结合MSP430 F149 单片机和PID算法,实现了采摘机器人高效自动化采摘功能,提高了机器人的采摘精度,为采摘机器人的智能化设计提供了较有价值的参考 .     

基于视觉检测的苹果采摘机器人系统设计与实现

为提高苹果采摘的自动化与智能化水平,降低重复繁琐的人工劳动强度,减少对果实的损坏率,研制了一款用于苹果成熟自动检测并采摘的轮式机器人系统。系统由硬件平台和软件平台两部分组成。其中,硬件平台由四轮驱动越野小车、IPC-610L工控机、图像数据采集卡、四自由度机械臂和末端执行器组成;软件平台基于Visual C++6.0开发环境,使用双目立体视觉技术和图像处理技术实现对苹果的识别与定位,再通过机械臂的路径规划实现对苹果的采摘。通过仿真实验和数据分析表明:机器人在无人值守的情况下,能实现自动导航、自动识别、自动采摘苹果等功能,并且识别成功率大于94.00%,采摘成功率达到91.33%,平均采摘周期约为1 1 s,具有较高的准确性及稳定性。     

基于机器视觉的机器人智能采摘实验平台开发

针对如何实现快速、高效的采摘,提出机器人智能采摘实验平台系统,该采摘机器人依靠视觉反馈控制来识别采摘物的位置。研究机器人手臂的运动控制,构建机器人的运动学模型。分析机械手的视觉伺服控制问题,直接将图像位置误差矢量映射到所需的末端执行器速度矢量。对机器人智能采摘进行试验分析,试验任务进行171次,准确率94.67%。试验结果验证该视觉伺服控制方法在实际场景中对采摘物识别效率,提高视觉伺服系统的鲁棒性和有效性。     

田间果蔬采摘机器人视觉传感器设计与试验

针对田间果蔬采摘机器视觉识别与定位的需求,设计嵌入式采摘视觉传感器,内嵌130万像素CMOS图像传感器和开放性MCU,配置亮度处理模块和室外光自适应控制专家库,解决室外光变化影响视觉检测的难题.用主从传感器构造双目视觉系统,配置图像分割和测距算法,进行采摘目标的识别与定位.经试验和测试,在采摘臂长范围内,对成熟西红柿的识别有效率为96%,位置误差±12 mm.     

基于机器视觉的耕作机器人行走目标直线检测

针对农田耕作机器人,提出了基于机器视觉的机器人行走目标——犁沟线斜率的检测算法。将摄像机安装在拖拉机前方,在耕作过程中采集农田场景图像。根据已耕作区域、未耕作区域和非农田区域的不同颜色特征,判断出田端和犁沟线的位置以及计算斜率用的方向候补点群,使用基于一点的改进哈夫变换算法计算出犁沟线的斜率。经过对多幅实际耕作现场图片的处理,验证了本犁沟线检测算法具有速度快、抗干扰、准确性高等优点。     

采摘机器人的路径规划系统动态性优化研究

为进一步改善采摘机器人的工作性能，提出以动态调控为主导的理念，针对整机的路径规划系统展开优化研究。以当前果园采摘机器人的通用性结构组成为前提，将云平台数据处理与路径规划核心算法有效融合后搭建动态控制模型，分别针对路径规划系统的硬件配置与软件控制进行合理设计，得到可应用于采摘实践且布局完整的路径规划系统。展开动态性优化下的采摘作业试验，结果表明：优化后采摘机器人路径规划系统的整体路径搜索率与路径平滑性得到明显提升，相对提升度分别为10.93%和9.71%,路径偏离率相对降低了50%左右，很好地优化了机器人的避障能力，满足系统稳定性需求，具有较高的实用价值。     

基于视觉算法的采摘机器人控制优化研究

为了优化采摘机器人控制,基于视觉技术设计了控制系统。首先,在大津分割法的基础上,计算图像中的角点,将角点从分割后的二值图中去除,降低背景干扰点簇的影响;其次,建立褐菇几何特征参数,以此参数对褐菇进行特征图像提取;再次,采用遗传学算法,对褐菇采摘路径进行优化,与传统往复前进式路径规划相比路程缩短了30.5%;最后,对系统进行实地褐菇采摘测试,结果显示：辨别成功率分布区间为[87%, 91.7%],采摘成功率分布区间为[80%, 85.75%],单个褐菇平均采摘时间分布区间为[12.4s, 13.2s],系统具有良好的采摘性能。     

基于MiroSot系统的苹果采摘机器人路径规划研究

针对农业机器人的一个重要类型—采摘机器人,开展了基于机器视觉的路径规划的理论分析和实际应用研究。为了解决苹果采摘机器人中路径规划难度大、最优解求解困难等问题,将MiroSot机器人路径规划系统应用于苹果采摘机器人中,结合采摘机器人作业环境特点和工作需求,采用图像处理技术,设计了具有环境感知、避障和决策能力的采摘机器人路径规划系统。MatLab实验仿真结果表明:系统可以实现无碰撞的最优路径规划,并能够根据环境变化实时进行局部路径规划,证明了系统的实时性、有效性和可行性。     

农业采摘机器人视觉感知关键技术研究

为了提高农业机器人在复杂野外环境下采摘油茶果的速度和准确性,针对机器人视觉感知的关键技术,设计了一种农业机器人果实检测、定位和采摘系统。首先,使用双目相机采集油茶果的左右图像;然后,应用先进的目标检测网络YOLOv4-tiny检测出左右图像中的油茶果;再次,不同于传统的双目相机图像的立体匹配技术,根据YOLOv4-tiny网络生成的预测框提取出油茶果图像的感兴趣区域,并根据预测框的生成机制自适应地进行立体匹配以求解出视差,为后续使用三角测量原理求出油茶果采摘点提供参考;最后,使用基于Eye-in-Hand手眼标定的农业机器人进行采摘试验,验证了本研究的可行性和准确性。试验结果表明：YOLOv4-tiny网络能够精确和实时地检测油茶果,提出的定位方法满足采摘机器人的应用需求,验证了本研究的可行性和准确性。研究可为果园环境中作业的农业采摘机器人视觉感知关键技术提供参考。