巡检机器人获取柑橘树上果实完整表面信息方法研究

为监控柑橘的生长情况，提出了一种通过巡检机器人获取单个柑橘果实完整表面信息的方法。使用LabelMe为标记工具，采用类圆形和类长方形分别对柑橘果实和分段枝干进行标记，再使用Mask R-CNN模型对其进行训练与识别，可从Kinect V2相机拍摄的含有深度信息的图像中提取出柑橘果实及分段枝干的三维信息。根据柑橘果实生长情况及发生病虫害情况，〖JP2〗对柑橘果实表面进行区域化划分，并采取积分制描述其表面信息获取率。通过机械臂末端连接的CCD相机对柑橘果实进行表面信息获取，提出了获取柑橘完整表面信息的3种机械臂拍摄方案。搭建了巡检机器人实验平台，在机器人操作系统(Robot operating system，ROS)下进行了仿真，提出实验室环境下柑橘表面信息的获取流程，并在实验室环境下对巡检机器人获取柑橘完整表面信息进行了实验验证。实验结果表明，柑橘果实的横纵径比越接近1，拍摄所获取的柑橘外表面信息越完整，当采用3个拍摄位姿的拍摄方案时，在保证获取柑橘表面完整率的同时可以获得较高的避障成功率和工作效率，柑橘表面信息获取率可达94.21%，〖JP3〗机械臂平均运动时间为86.57s。本研究为农业巡检机器人获取柑橘表面情况、监控柑橘生长及病虫害信息提供了方法。     

基于Mask R-CNN的复杂背景下柑橘树枝干识别与重建

为了获取自然环境下完整柑橘果树枝干信息,以引导采摘机器人进行避障采摘作业,提出了一种基于Mask R-CNN模型与多参数变量约束的柑橘果树枝干识别与重建方法。该方法采用网格化的标记方式对果树枝干进行标记,完成了对柑橘果树枝干的小区域识别;然后对该模型获得的离散mask进行最小外接矩处理,以获得更精确的目标区域;接着利用多参数变量约束完成同一枝干mask(掩码)的划分;最后为了使重建枝干更符合实际枝干的生长姿态,以及完善未识别区域的检测,对同一枝干mask中心点进行了四次多项式拟合。实验结果表明,模型在测试集下的平均识别精确率为98. 15%,平均召回率为81. 09%,果树单条枝干平均拟合误差为11. 47%,果树枝干整体平均重建准确率为88. 64%。     

基于轮廓曲率和距离分析的重叠柑橘分割与重建

自然环境下重叠果实的精准识别是智能采摘面临的难题之一。针对自然环境中成熟的重叠柑橘，提出了一种基于轮廓曲率和距离分析的果实分割方法。首先，提取重叠柑橘果实轮廓并进行高斯平滑，通过曲率分析，找出异常的轮廓像素点；其次，依次连接相邻两个异常像素点，分析该线段上的像素点到轮廓的距离，在相邻两正常线段的交点处完成重叠柑橘轮廓分割，并通过寻找异常线段剔除对应的非柑橘轮廓像素点；在此基础上，采用最小二乘椭圆拟合方法，对获取的柑橘目标进行轮廓重建。结果表明：利用该方法所得到的重叠柑橘重建轮廓的平均误差、不重合度和时间分别为4.903%、5.593%、0.408 s，优于Hough变换算法和RANSAC算法，能够满足自然环境下成熟重叠柑橘果实的智能识别需求。     

自然环境下柑橘采摘机器人识别定位系统研究

为了准确理解柑橘采摘机器人在自然环境下的作业场景,获取采摘目标及周围障碍物的位置信息,构建了基于卷积神经网络和Kinect V2相机的识别定位系统。首先,对采摘场景中的果树提出5类目标物分类准则,包含1类可采摘果实和4类障碍物目标;然后,在YOLO V3（You only look once）卷积层模块中添加3层最大池化层,对预测候选框进行K-means聚类分析,增强模型对枝叶类物体特征的提取能力,实现采摘场景的准确理解;最后,采用Kinect V2相机的深度图映射得到采摘目标和障碍物的三维信息,并在自然环境下进行了避障采摘作业。实验结果表明,构建的识别定位系统对障碍物和可采摘果实的识别综合评价指数分别为83.6%和91.9%,定位误差为5.9mm,单帧图像的处理时间为0.4s,采摘成功率和避障成功率分别达到80.51%和75.79%。     

无遮挡重叠柑橘目标分割与重建

自然环境下重叠果实的精准识别是智能采摘面临的难题之一。本研究针对无遮挡重叠柑橘,提出了一种基于凹区域简化和距离分析的果实分割与重建方法。该方法提取、分割果实轮廓凹区域,对其进行多边形简化,利用角点检测提取多边形顶点,通过分析各顶点到轮廓凸壳曲线的距离确定轮廓分割点,采用最小二乘圆拟合方法对分割后的轮廓进行重建。结果表明,基于凹区域简化和距离分析的无遮挡重叠柑橘重建轮廓的平均误差为3.12%,不重合度为4.55%,时间为0.291 s,优于RANSAC算法和Hough变换算法,能够满足自然环境下无遮挡重叠果实的智能识别需求。     

基于三维重建的柑橘采摘机械臂避障研究与实验

利用机器人采摘柑橘果实需要解决机械臂运动过程中对障碍物的感知与避障问题。根据枝干的特征对枝干进行分段标记，使用深度学习Mask R-CNN神经网络进行训练、识别，然后与Kinect v2相机得到枝干障碍物关键点的三维信息进行重建。应用快速扩展随机树（rapidly-exploring random trees，RRT）的改进算法进行机械臂的避障运动规划。搭建了仿真及控制平台，并在实验室环境下通过课题组自行研制的柑橘收获机器人进行了验证，结果表明，样机避障成功率为90.7%，平均规划时间为1.5 s。上述结果为进一步进行实际环境采摘奠定了基础。     

基于深度学习的果园道路导航线生成算法研究

针对目前果园环境视觉导航线提取受光照、杂草干扰,而已有的导航线生成算法过于复杂且适用范围较窄的问题,提出了一种基于深度学习的方法来提取果园道路导航线:采用YOLOV3卷积神经网络提取果园道路图像上的特征点,并通过最小二乘法拟合生成导航线。通过采集的800张果园道路图片作为训练集,进而在240张图片组成的独立测试集上进行测试,总体识别率为95.37%,在杂草较少、杂草较多、高光照和正常光照的环境下,导航线平均偏差分别为2.15、2.28、2.32、2.41像素;平均偏移距离分别为3.4、3.5、2.7、3.6 cm。