| 基于实例分割的番茄串视觉定位与采摘姿态估算方法 |
| |
| 引用本文： | 张勤,庞月生,李彬.基于实例分割的番茄串视觉定位与采摘姿态估算方法[J].农业机械学报,2023,54(10):205-215. |
| |
| 作者姓名： | 张勤 庞月生 李彬 |
| |
| 作者单位： | 华南理工大学 |
| |
| 基金项目： | 广东省现代农业产业共性关键技术研发创新团队建设项目(2019KJ129) |
| |
| 摘 要： | 准确识别定位采摘点，根据果梗方向，确定合适的采摘姿态，是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂，果实颜色、形状各异，果梗姿态多样，叶子藤枝干扰等因素，降低了采摘点识别准确率和采摘成功率。针对这个问题，考虑番茄串生长特性，提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制，保证番茄串和果梗感兴趣区域(Region of interest, ROI)、掩膜质量和可靠性，实现果梗粗分割；通过果梗掩膜信息和ROI位置关系匹配可采摘果梗，基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割；再通过果梗深度信息填补法与深度信息融合，精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态，并根据果梗姿态确定适合采摘的末端执行器姿态，引导机械臂完成采摘。研究和大量现场试验结果表明，提出的方法在复杂采摘环境中具有较高的定位精度和稳定性，对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1 280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素...
|
| 关 键 词： | 番茄串 机器人 实例分割 视觉定位 采摘姿态预测 |
| 收稿时间： | 2023/4/8 0:00:00 |
Visual Positioning and Picking Pose Estimation of Tomato Clusters Based on Instance Segmentation |
| |
| ZHANG Qin,PANG Yuesheng,LI Bin.Visual Positioning and Picking Pose Estimation of Tomato Clusters Based on Instance Segmentation[J].Transactions of the Chinese Society of Agricultural Machinery,2023,54(10):205-215. |
| |
| Authors: | ZHANG Qin PANG Yuesheng LI Bin |
| |
| Institution: | South China University of Technology |
| |
| Abstract: | |
| |
| Keywords: | tomato cluster robot instance segmentation visual positioning picking pose estimation |
|
| 点击此处可从《农业机械学报》浏览原始摘要信息 |
| 点击此处可从《农业机械学报》下载免费的PDF全文 |
