采摘机器人视觉伺服控制系统设计

分析了采摘机器人目标位置与机器人关节角度之间的运动学关系,给出了两者之间的坐标变换公式.根据伺服控制特点,在机器人伺服控制中引入模糊PID控制方法,利用模糊控制策略在线自适应整定PID参数,提高了控制系统的动、静态性能.仿真和实验结果验证了设计的合理性和有效性.     

农业采摘机器人视觉感知关键技术研究

为了提高农业机器人在复杂野外环境下采摘油茶果的速度和准确性,针对机器人视觉感知的关键技术,设计了一种农业机器人果实检测、定位和采摘系统。首先,使用双目相机采集油茶果的左右图像;然后,应用先进的目标检测网络YOLOv4-tiny检测出左右图像中的油茶果;再次,不同于传统的双目相机图像的立体匹配技术,根据YOLOv4-tiny网络生成的预测框提取出油茶果图像的感兴趣区域,并根据预测框的生成机制自适应地进行立体匹配以求解出视差,为后续使用三角测量原理求出油茶果采摘点提供参考;最后,使用基于Eye-in-Hand手眼标定的农业机器人进行采摘试验,验证了本研究的可行性和准确性。试验结果表明：YOLOv4-tiny网络能够精确和实时地检测油茶果,提出的定位方法满足采摘机器人的应用需求,验证了本研究的可行性和准确性。研究可为果园环境中作业的农业采摘机器人视觉感知关键技术提供参考。     

面向采摘机器人的视觉伺服控制技术研究进展

在新型农业生产模式下,采摘机器人成为智能农业装备的重要组成部分。在非结构环境下,视觉伺服控制以获得作业环境信息量大、鲁棒性强等优势成为采摘机器人的关键技术。结合3种经典视觉伺服控制方法的研究进展和原理,对比总结了各种控制方法的优缺点和研究重点,并就其中一些关键问题分析了解决方法,同时提出对采摘机器人适应性强的视觉伺服控制技术,并对技术发展趋势进行了展望。      

基于深度双目视觉处理的智能采摘机器人设计

针对采摘机器人对果蔬的位置定位不够准确、无法准确避障,导致采摘效率较低的问题基于深度双目视觉处理对智能采摘机器人进行了设计。智能采摘机器人的主要组成包括PLC控制器、视觉系统、移动平台、导航系统、机械臂、通信系统和电源。为了对采摘机器人的机械臂进行最优路径规划并避障,通过对采集的图像进行预处理后,利用双目视觉系统对果蔬进行精准定位,然后采用哈夫变换直线检测的方法进行最优路径的设计和选择,最终确定最优采摘路径。对采摘机器人进行运动轨迹精度试验和采摘试验,结果表明：采摘机器人对果蔬的采摘成功率较高,可以满足果农对于采摘机器人的要求。     

采摘机器人目标识别技术研究——基于机器视觉及深度学习

为了解决采摘机器人识别目标果实难的问题，提出了一种基于机器视觉及深度学习的采摘机器人目标识别技术，可结合图像采集、图像处理、SSD深度学习算法，实现对橘柑的精准识别。试验结果表明：采摘机器人目标识别技术对橘柑具有较高的识别率，证实了该方法的可行性，对采摘机器人研究具有一定的参考价值。     

基于视觉导航和RBF的移动采摘机器人路径规划研究

为了提高采摘机器人自主导航和路径规划能力,提出了基于计算机视觉路径规划和RBF神经网络自适应逼近算法的导航方法。使用图像分割、平滑处理和边缘检测技术,根据图像像素灰度值确定了导航线的位置,利用逐行扫描的方法得到了导航离散点。路径规划和跟踪使用RBF神经网络逼近算法,通过逼近误差和权值控制路径跟踪的精度,系统响应的执行端使用液压伺服系统,提高了机器人自主导航的精度。以黄瓜采摘作为研究对象,在日光温室对机器人采摘作业进行了测试,通过测试得到了RBF神经网络的路径跟踪误差曲线。测试结果表明:机器人可以很好地逼近跟踪规划路径,其计算精度较高,跟踪效果较好。     

基于单目视觉的采摘机器人障碍物检测和路径规划

具有自主作业能力的采摘机器人一直是国际上研究的热点,而障碍物检测躲避能力是其重要的功能,因为在机器人识别作业区域或成熟果实后需要自主的定位和移动。为此,提出了一种基于单目视觉和人工势能场的障碍物检测和避障算法,可以有效采集和检测障碍物的信息,再依据障碍物及目标区域的距离使用人工势能场方法对路径进行优化,实现采摘机器人的自主移动。为了验证障碍物检测和避障方案的可行性,模拟采摘机器人作业环境和自主移动流程,对采摘机器人避障行为进行了测试。测试结果表明:采用单目视觉和人工势场方法可以使机器人成功的避障,并规划出效率最高的到达目标作业区域路径,对采摘机器人自主导航技术的研究具有重要的意义。     

机器视觉技术在水果采摘机器人中的应用

近年来,学术界展开了将图像处理技术运用到水果机器人采摘过程中的研究,把图像处理技术和机器视觉技术结合运用于水果采摘的过程,可以实现自动化和智能化的采摘,对于降低劳动强度和提高采摘效率具有极其重要的意义.对此,文章主要分析了机器视觉技术在水果采摘机器人中的应用成果,并对机器视觉技术研究方向进行了展望.     

基于深度强化学习的虚拟机器人采摘路径避障规划

针对采摘机器人在野外作业环境中,面临采摘任务数量多,目标与障碍物位置具有随机性和不确定性等问题,提出一种基于深度强化学习的虚拟机器人采摘路径避障规划方法,实现机器人在大量且不确定任务情况下的快速轨迹规划。根据机器人本体物理结构设定虚拟机器人随机运动策略,通过对比分析不同网络输入观测值的优劣,结合实际采摘行为设置环境观测集合,作为网络的输入;引入人工势场法目标吸引和障碍排斥的思想建立奖惩函数,对虚拟机器人行为进行评价,提高避障成功率;针对人工势场法范围斥力影响最短路径规划的问题,提出了一种方向惩罚避障函数设置方法,将障碍物范围惩罚转换为单一方向惩罚,通过建立虚拟机器人运动碰撞模型,分析碰撞结果选择性给予方向惩罚,进一步优化了规划路径长度,提高采摘效率;在Unity内搭建仿真环境,使用ML-Agents组件建立分布式近端策略优化算法及其与仿真环境的交互通信,对虚拟机器人进行采摘训练。仿真实验结果显示,不同位置障碍物设置情况下虚拟机器人完成采摘任务成功率达96.7%以上。在200次随机采摘实验中,方向惩罚避障函数方法采摘成功率为97.5%,比普通奖励函数方法提高了11个百分点,采摘轨迹规划平均耗时0.64s/次,相较于基于人工势场法奖励函数方法降低了0.45s/次,且在连续变动任务实验中具有更高的适应性和鲁棒性。研究结果表明,本系统能够高效引导虚拟机器人在避开障碍物的前提下快速到达随机采摘点,满足采摘任务要求,为真实机器人采摘路径规划提供理论与技术支撑。     

基于深度学习的水果采摘机器人视觉识别系统设计

水果识别是自动化采摘过程中的关键步骤,为了提高水果识别的准确性和实时性,利用深度学习方法,设计了一种水果采摘机器人视觉识别系统。首先,采用多种预处理方法对样本数据进行扩充,并对图像进行缩放和灰度化处理;然后,构建了一个多层卷积神经网络,通过多次训练得到网络最优超参数;最后,利用所构建的卷积神经网络对水果图像进行训练,同时采用多种训练策略得到最终的识别模型。实验结果表明:系统具有识别速度快、准确率高的特点,可以快速、准确地对水果图像进行识别,单张水果图像的识别速度只需0.2s,识别精度高达97%以上。该方法具有重要的理论和应用价值,可为水果的自动化识别提供有力手段。     

水果收获机器人避障路径规划

在综合分析路径规划研究的基础上,采用基于概率地图的路径规划方法,运用启发式搜索算法对水果收获机器人机械臂运动路径进行实时规划。在搜索过程中,以位姿点密度作为权重使路径向自由空间扩散,避免过度采样。为提高路径规划速度,采用延迟碰撞检测策略,可有效降低计算量。采用有向包围盒进行碰撞检测。最后利用虚拟现实技术,对水果收获时要绕过的支架和狭窄区域进行三维计算机模拟。结果显示,路径规划时间均小于0．15s,达到实时要求。     

基于RBF的水果采摘机器人关节伺服自适应滑模控制

针对水果采摘机器人关节伺服存在不确定性及其上界值无法测量等问题,提出了一种基于RBF网络的滑模变结构控制策略,通过RBF神经网络实现对不确定性的上界进行自适应预测,进一步改进了控制器的效果。在Mat Lab中进行仿真试验,结果表明:与传统的基于上界已知的滑模控制器相比,本文所提出的基于RBF网络的滑模变结构控制策略具有位置控制精度高、收敛速度快及抖动抑制能力强等特点,控制效果得到了进一步的提高。     

白芦笋采收机器人视觉定位与采收路径优化方法

依据笋芽出土状态的选择性收获是目前白芦笋公认的最佳收获方式。针对采收过程中机器视觉识别笋尖存在笋尖与垄面纹理和颜色相近等识别难题,本研究提出了一种变尺度感兴趣区域（ROI）检测方法,融合图像色域变换、直方图均值化、形态学和纹理滤波等技术,研究了笋尖识别与精准定位方法;在定位多笋尖坐标基础上,提出了多笋芽的采收路径优化方法,解决了因采收路径不合理导致的采收效率低的问题。首先,通过机器人视觉系统实时采集采收区域图像并进行RGB三通道高斯滤波,采用HSV色域变换并进行直方图均值化处理。在此基础上,对笋尖、土壤进行特征聚类分析,根据笋芽抽发程度研究变尺度ROI检测方法,对采集图像中笋尖的形态学以及笋尖和土壤的纹理进行统计学分析,设定笋尖的似圆度阈值,并参考纹理特征参数,判定笋尖位置,计算其几何中心,获得笋尖轮廓中心坐标。其次,为实现白芦笋的高效采收,根据多目标点与集箱点的位置分布,本研究设计了一种基于多叉树遍历的采收路径优化算法,以获得多个目标笋尖的最优采收路径。最后,搭建采收机器人试验平台开展了笋尖定位与采收验证性试验。结果表明,视觉系统对白芦笋的识别率可达98.04%,笋尖轮廓中心坐标的定位最大误差X方向为0.879 mm,Y方向为0.882 mm,采收笋的个数在不同情况下,采用路径优化后的末端执行器运动距离平均可节省43.89%,末端执行器定位成功率达到100%,在实验室环境下的白芦笋采收率达到88.13%,验证了采用视觉定位的白芦笋采收机器人选择性采收的可行性。     

黄瓜收获机器人避碰轨迹规划

提出了一种基于机器视觉和关节空间的黄瓜收获机器人障碍避碰轨迹规划新方法,描述了算法的实现过程。该算法中,障碍分为球体、正方体和长方体3类;根据黄瓜果实图像信息,按照距离由近及远原则,规划成熟黄瓜的采摘顺序;根据障碍类型,进行障碍判断和归类,构造障碍保护圆和障碍保护点;采用过中间障碍点的三次多项式插值函数进行描述黄瓜收获机器人相应阶段关节空间的运动轨迹。     

木板抓取机器人手眼标定方法

针对视觉抓取木板机器人的Eye-in-Hand视觉与机器人本体之间关联的手眼标定问题,提出了基于标定方程的求解优化。首先通过机器人带动相机以多个不同位姿观测标定板,得到多个标定方程,采集一次数据建立一个标定方程,再对所有标定方程运用Kronecker product算法和最小二乘法求解。为避免误差传递,将得到的解作为优化初始值,建立雅可比矩阵、误差函数,并采用Levenberg-Marquardt算法对初始值优化,得到精确解。在ROS系统中搭建仿真试验平台,通过3D可视化工具Rviz验证了标定结果的有效性。标定结果的精度分析表明,相同采集图像数量、不同噪声水平下,本文标定方法位置解精度比传统标定方法平均提高了30%;同一噪声水平、不同采集图像数量下,本文标定方法位置解精度比传统标定方法平均提高了31.1%。木板抓取试验结果表明,视觉系统抓取定位精度比传统标定方法平均提高了39.2%,抓取成功率为96.2%。     

茄子收获机器人机械臂避障路径规划

提出了一种茄子收获机器人机械臂在笛卡尔空间的避障方法.将空间障碍物等效为可以用数学建模的圆柱扇环,将三维空间的路径规划简化为二维,提高了控制的实时性;将障碍从工作空间转换到C-空间中,使对机器人的控制直接作用于关节,避免了使用雅可比逆阵进行复杂的坐标转换.将C-空间映射到图像矩阵中,通过对图像进行适当的处理,规避了在使用A*算法寻优时可能出现的失败.实验结果表明,该避障路径规划方法计算量小,实时性好,适合自然生长状态下茄子的自动收获.     

苹果采摘机器人关节灰色滑模变结构控制

针对苹果采摘机器人中存在的不确定性和外部干扰会影响到采摘机器人的工作性能的问题,提出了一种基于灰色理论的滑模控制器,利用灰色GM(0,N)模型对苹果采摘机器人中存在的不确定性和外部干扰进行预测估计并对所设计的滑模控制器进行补偿,以减少不确定性和外部干扰对采摘机器人的工作性能的影响。仿真结果表明:本文所设计的基于灰色理论的滑模控制器能有效地对采摘机器人中存在的不确定性和外部干扰进行预测和补偿,提高了采摘机器人的各关节的位置跟踪能力和抗干扰能力,降低了滑模控制策略中的抖动现象,进一步提高了系统的稳定性和鲁棒性。     

采摘机器人视觉伺服策略研究——基于回归数据挖掘的

为了实现采摘机器人的准确抓取控制、路径识别和自主导航功能,提出了一种基于回归数据挖掘计算模型的机器人视觉伺服控制系统。首先利用双目相机获取果实图像,然后利用拉普拉斯变换和高斯滤波方法对图片进行平滑和增强处理,并利用Canny算法对图像边缘进行检测和分割处理,完成图像的预处理。对图像进行目标识别,提取图像的特征,并采用回归数据挖掘方法对滤波图像进行检验,最终通过计算得到果实图像的中心位置,将中心位置利用控制器反馈给控制中心,控制中心发出指令,控制末端执行器完成果实的采摘作业。对机器人视觉伺服系统进行了测试,结果表明:利用采摘机器人视觉伺服系统可以准确地计算果实的中心位置,实测位置和计算位置的吻合程度较高,视觉伺服系统的计算的稳定性较好。     

基于语义分割网络的植保机器人视觉伺服控制方法

为实现稳定可靠的植保机器人视觉伺服控制,提出了一种基于语义分割网络的作物行特征检测方法。基于语义分割网络ESNet实现农田场景图像像素级带状区域检测,并利用最小二乘算法拟合得到每条行作物线特征;在此基础上通过设计一种主导航线提取算法获取导航路径,并利用卡尔曼滤波对主导航线几何参数进行平滑处理,有效抑制了不平整地面导致的机器人运动颠簸与视觉图像测量噪声引起的导航参数波动。继而构建机器人前轮转向、后轮差速的阿克曼运动学模型;在图像空间坐标下设计纯追踪控制器实现植保机器人的伺服运动控制。大田环境下的现场实验结果为：总体横向偏差为0.092m,验证了本文方法的有效性。