农业采摘机器人视觉感知关键技术研究

为了提高农业机器人在复杂野外环境下采摘油茶果的速度和准确性,针对机器人视觉感知的关键技术,设计了一种农业机器人果实检测、定位和采摘系统。首先,使用双目相机采集油茶果的左右图像;然后,应用先进的目标检测网络YOLOv4-tiny检测出左右图像中的油茶果;再次,不同于传统的双目相机图像的立体匹配技术,根据YOLOv4-tiny网络生成的预测框提取出油茶果图像的感兴趣区域,并根据预测框的生成机制自适应地进行立体匹配以求解出视差,为后续使用三角测量原理求出油茶果采摘点提供参考;最后,使用基于Eye-in-Hand手眼标定的农业机器人进行采摘试验,验证了本研究的可行性和准确性。试验结果表明：YOLOv4-tiny网络能够精确和实时地检测油茶果,提出的定位方法满足采摘机器人的应用需求,验证了本研究的可行性和准确性。研究可为果园环境中作业的农业采摘机器人视觉感知关键技术提供参考。     

复杂环境下香蕉多目标特征快速识别研究

【目的】针对野外环境下断蕾机器人对多特征的变量目标快速识别难题,以及目标受到树叶、遮挡及光照影响精度的问题,提出多特征目标的快速识别方法。【方法】提出对香蕉果实、果轴和花蕾这3个目标进行多尺度特征提取及模型分类,融合聚类算法设计新的目标候选框参数,提出改进YOLOv3模型及网络结构参数的YOLO-Banana模型;为了平衡速度和准确度,用YOLO-Banana和Faster R-CNN分别对变化尺寸的香蕉多目标进行试验,研究算法对识别精度与速度的影响。【结果】YOLO-Banana和Faster R-CNN这2种算法识别香蕉、花蕾和果轴的总平均精度分别为91.03%和95.16%,平均每张图像识别所需时间分别为0.237和0.434 s。2种算法精度均高于90%,YOLO-Banana的速度相对快1.83倍,更符合实时作业的需求。【结论】野外蕉园环境下,采用YOLO-Banana模型进行香蕉多目标识别,可满足断蕾机器人视觉识别的速度及精度要求。