苹果采摘机器人目标识别与定位方法研究

【目的】在算力资源有限的嵌入式设备上对目标苹果进行快速、准确的识别与定位。【方法】研究小组对采摘机器人的目标识别与定位方法进行研究,以YOLOv4网络模型为基础,对YOLOv4进行轻量化改进,使用MobileNet V3作为特征提取的主干网络,减少模型的计算量,并结合ZED双目相机与定位算法在嵌入式平台上进行实验。【结果】实验表明：1）在目标识别方面,改进后模型的平均检测精度为87.32%,模型的大小为53.76 MB,较改进前降低了79%。2）采用ZED相机结合测距算法进行了苹果目标定位实验,ZED双目相机的测距误差可控制在0.02 m以内,同时改进的YOLOv4算法的平均检测速度在15FPS左右。【结论】改进后的YOLOv4网络模型更适合部署在算力有限的嵌入式设备中进行苹果采摘任务,且能够满足苹果采摘任务的实时性要求。因此,该方法可以为苹果采摘机器人的识别与定位提供技术参考。     

温室草莓采摘机器人设计与试验

为实现温室草莓采摘机械化和自动化,设计并制作一种应用于日光温室的草莓采摘机器人。该机器人能实现自主路径规划,行走过程中识别成熟草莓并完成采摘。设计以ROS分布式计算系为主控制网络,以激光雷达进行移动机器人的地图构建与定位,双目深度相机实现对成熟草莓的识别和定位,搭载柔性仿生夹爪6自由度机械臂实现目标草莓抓取和放置。设计机器人软件平台,使用改进A*算法实现自主路径规划和导航避障;利用R-FCN目标检测网络和双目视觉技术实现成熟草莓检测及定位。结果表明：该草莓采摘机器人可实现目标检测及定位,检测到的草莓坐标与机器人手爪坐标的误差在4 mm以下,成熟草莓识别率为95%,满足采摘要求。     

基于双目视觉的农业机器人运动定位与避障研究

针对当前机器人定位避障技术中,感知外界环境信息单一及误差大等问题,提出了一种基于双目视觉的农业机器人运动定位和避障系统,可以通过双目视觉采集农业机器人周边的环境信息,实现农业机器人运动定位和避障。MatLab实验结果表明:农业机器人从起点成功到达终点,算法路径为最优避障路径,证明了系统的准确性和可行性。     

基于双目相机与改进YOLOv3算法的果园行人检测与定位

针对复杂果园环境中行人难以精确检测并定位的问题,提出了一种双目相机结合改进YOLOv3目标检测算法的行人障碍物检测和定位方法。该方法采用ZED双目相机采集左右视图,通过视差原理获取图像像素点的距离信息;将双目相机一侧的RGB图像作为用树形特征融合模块改进的YOLOv3算法的输入,得到行人障碍物在图像中的位置信息,结合双目相机获得的像素位置信息计算出相对于相机的三维坐标。用卡耐基梅隆大学国家机器人工程中心开放的果园行人检测数据集测试改进的YOLOv3算法,结果表明,准确率和召回率分别达到95.34%和91.52%,高于原模型的94.86%和90.19%,检测速度达到30.26 f/ms。行人检测与定位试验表明,行人障碍物的定位在深度距离方向平均相对误差为1.65%,最大相对误差为3.80%。该方法具有快速性和准确性,可以较好地实现果园环境中的行人检测与定位,为无人驾驶农机的避障决策提供依据。     

双目立体视觉在果树采摘机器人中的应用

果树采摘机器人是未来智能农业机械化的发展方向,具有广阔的应用前景。为此,针对果树采摘机器人作业环境的复杂性与定位目标的特殊性,从双目定位的几何模型出发,归纳了双目定位的基本过程,总结了立体视觉的摄像机标定问题,提出变焦距双目视觉定位果实的研究方向,并对双目图像的匹配问题进行了分析。     

基于图像边缘检测技术的采摘机器人视觉系统设计

采摘机器人作业环境复杂,视觉系统往往不能准确对待采摘的果树或者果实进行准确的定位。为了提高采摘机器人视觉系统的定位精度,引入了图像边缘检测技术,通过提取待采摘果树或者果实的边缘,计算果实的位置坐标,为采摘机器人的自主行走定位和采摘作业提供可靠数据支持。为了验证方案的可行性,以待采摘果树的特征边缘提取为例,对系统的果树边缘提取的可行性及定位准确性进行了实验。实验结果表明:采用基于图像边缘检测技术的采摘机器人视觉系统可以成功地对果树进行定位,并输出果树的位置坐标,将位置坐标和实测位置坐标进行对比发现,其结果基本吻合,具有较高的定位精度。     

基于MSRCR-YOLOv4-tiny的田间玉米杂草检测模型

为实现田间环境下对玉米苗和杂草的高精度实时检测,本文提出一种融合带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration, MSRCR)增强算法的改进YOLOv4-tiny模型。首先,针对田间环境的图像特点采用MSRCR算法进行图像特征增强预处理,提高图像的对比度和细节质量;然后使用Mosaic在线数据增强方式,丰富目标检测背景,提高训练效率和小目标的检测精度;最后对YOLOv4-tiny模型使用K-means++聚类算法进行先验框聚类分析和通道剪枝处理。改进和简化后的模型总参数量降低了45.3%,模型占用内存减少了45.8%,平均精度均值(Mean average precision, mAP)提高了2.5个百分点,在Jetson Nano嵌入式平台上平均检测帧耗时减少了22.4%。本文提出的Prune-YOLOv4-tiny模型与Faster RCNN、YOLOv3-tiny、YOLOv4 3种常用的目标检测模型进行比较,结果表明：Prune-YOLOv4-tiny的mAP为96.6%,分别比Faster RCNN和YOLOv3...     

玉米叶片生长状态的双目立体视觉监测技术

研究了使用双目立体视觉技术监测玉米叶片运动的可行性,视觉监测系统包括一个能够垂直升降和水平移动的支架,用于支撑双目相机连续监测被试样品。采用白色荧光小球作为标志物,简化图像算法的同时增加了三维坐标测量精度。图像处理过程中采用亚像素边缘检测算法,有效地提高了立体匹配的精度。仿真实验结果表明,系统测量误差可达0.0139 cm,能够检测叶片微小的位置变化。     

基于深度双目视觉处理的智能采摘机器人设计

针对采摘机器人对果蔬的位置定位不够准确、无法准确避障,导致采摘效率较低的问题基于深度双目视觉处理对智能采摘机器人进行了设计。智能采摘机器人的主要组成包括PLC控制器、视觉系统、移动平台、导航系统、机械臂、通信系统和电源。为了对采摘机器人的机械臂进行最优路径规划并避障,通过对采集的图像进行预处理后,利用双目视觉系统对果蔬进行精准定位,然后采用哈夫变换直线检测的方法进行最优路径的设计和选择,最终确定最优采摘路径。对采摘机器人进行运动轨迹精度试验和采摘试验,结果表明：采摘机器人对果蔬的采摘成功率较高,可以满足果农对于采摘机器人的要求。     

夜间自然环境下荔枝采摘机器人识别技术

利用机器视觉实现自然环境下成熟荔枝的识别,对农业采摘机器人的研究与发展具有重要意义。本文首先设计了夜间图像采集的视觉系统,然后选取了白天和夜间两种自然环境下采集荔枝图像,分析了同一串荔枝在白天自然光照与夜间LED光照下的颜色数据,确定了YIQ颜色模型进行夜间荔枝果实识别的可行性。首先选择夜间荔枝图像的I分量图,利用Otsu算法分割图像去除背景,然后使用模糊C均值聚类算法分割果实和果梗图像,得到荔枝果实图像;再利用Hough圆拟合方法检测出图像中的各个荔枝果实。荔枝识别试验结果表明:夜间荔枝图像识别的正确率为95.3%,识别算法运行的平均时间为0.46 s。研究表明,该算法对夜间荔枝的识别有较好的准确性和实时性,为荔枝采摘机器人的视觉定位方法提供了技术支持。     

基于Stereo Camera-YOLOv5自然环境下百香果检测与定位模型

针对百香果采摘机器人在自然环境中作业时受复杂光线及遮挡影响,难以快速精确地检测及定位成熟百香果的问题,提出一种基于Stereo Camera-YOLOv5自然环境下成熟百香果检测及定位模型。针对自然环境下光线以及遮挡的影响,通过MSRCP算法、随机遮挡、数据增扩等图像处理算法对原始数据集进行优化。将优化的数据集输入到YOLOv5网络中训练出最优模型,在检测代码中嵌入双目立体视觉算法。该模型对自然环境下百香果进行检测及成熟度判断,将判断为成熟的百香果进行图像处理,并提取到中心点二维坐标。通过立体匹配及视差计算得到中心点的三维坐标。田间试验结果表明,该模型的目标检测准确率为97.8%,总体准确率为90.2%,平均运行时间为4.85 s。该系统鲁棒性强、实时性好,能够更好地实现自然环境下成熟百香果的检测及定位,为百香果采摘机器人后续工作奠定基础。     

基于Mask-RCNN的自然场景下油茶果目标识别与检测

针对我国油茶果采摘过程中存在的自动化水平落后、采摘效率低、适采周期短的现状,应用于机器人收获技术的机器视觉技术受限于真实场景中复杂背景干扰从而导致识别精度较低的问题。以自然场景下的油茶果为研究对象,提出一种基于Mask-RCNN的自然场景下油茶果目标识别与检测算法,首先获取油茶果图像并建立数据集,利用ResNet卷积神经网络提取油茶果果实图片的特征,获得果实目标分割结果,再采用RPN对所得到的特征图进行操作,并增加全连接层,提取每个样本mask像素面积,并对目标类别进行预测。利用测试集分别测试油茶果的分割网络模型及目标识别算法,结果表明,网络模型的分割准确率为89.85％,油茶果目标识别的平均检测精度为89.42％,召回率为92.86％。本算法能够自动检测油茶果目标,并有效降低不同光照情况下叶片与花苞遮挡、果实重叠、果实色泽等因素干扰,为自然场景中果实自动化采摘提供可靠的视觉支持。     

采摘机器人水果检测及定位研究——基于图像处理和卷积神经网络

首先,设计了一种采用K-means聚类算法和图像处理相结合的目标边缘识别算法,可以获得完整的目标边缘轮廓;然后,利用卷积神经网络和双目视觉技术实现了采摘机器人水果检测及定位方法。实验结果表明:该采摘机器人水果检测及定位方法较好,计算量小,处理速度快,误差较小,能够满足采摘要求。     

采摘机器人定位导航系统设计 —基于机载三维激光成像电力巡线

采摘机器人作为一种典型的农业机器人,一直未得到普及,其主要受限于果实空间分布的不规律性,以及存在视觉定位及采摘方式等技术难题。为此,将机载三维激光成像电力巡线技术引入到采摘机器人的定位导航系统的设计过程中,通过果实的圆形检测和三维重构来确定果实的质心坐标,以提高采摘机器人导航视觉的精度和效率。为了验证方案的可行性,对果实图像采集和处理的准确性进行了测试,结果表明:视觉导航系统可以成功得到标准的圆形图像,通过三维重构后,质心坐标的计算结果和测量结果基本吻合,且对果实的成功识别率较高,从而验证了方案的可靠性。     

基于YOLOv3算法与3D视觉的农业采摘机器人目标识别与定位研究

为解决目前农业采摘机器人目标难以识别与定位的问题,在原有农业采摘机器人的基础上,提出一种改进YOLOv3算法和3D视觉技术相结合的方法,实现目标的准确识别和精准定位,并利用标定完成目标坐标系和机器人坐标系的转换。通过试验分析改进YOLOv3算法的性能,并与之前的YOLOv3算法、Fast RCNN算法和Faster RCNN算法进行综合比较,研究表明所采用的改进YOLOv3算法和3D视觉具有较高的识别准确度和定位精度,识别准确率分别提高55%、9%、1.4%,最大定位误差分别降低0.69、0.44、0.28 mm,可以较好地完成后续采摘工作,对于农业机器人的发展具有重要的参考价值。     

西红柿采摘机器人视觉系统的研究

针对果实采摘机器人果实识别率低的问题,设计了一组用于西红柿识别和定位的双目立体视觉系统,为机器人的采摘作业提供更有利的条件。为此,采用Bumblebee双目立体视觉系统,基于成熟果实与植株颜色特征的差异进行图像分割,来识别成熟的西红柿;在完成相机标定、特征点提取和特征点匹配的基础上,通过三维空间定位获取果实的三维坐标。实验结果表明:该系统果实识别的整个过程平均耗时150ms,对成熟西红柿的识别率达到99%,测试误差在10mm以内,能够较好地满足西红柿采摘工作的要求。     

基于偏好免疫网络的油茶果采摘机器人图像识别算法

针对油茶果采摘机器人视觉识别中外界物体的形态学特性要求,采用了偏好人工免疫网络算法作为机器视觉的图像识别算法,并根据采摘环境及采摘对象的特点对算法结构进行了改进,增强了算法的识别率.仿真实验表明,采用偏好人工免疫网络算法对油茶果的识别率在晴天时达到了81.67％,阴天时达到了87.69％,满足采摘识别率的要求.     

荔枝采摘机械手视觉定位系统设计

建立了基于双目立体视觉的荔枝采摘机械手视觉定位系统.通过对成熟荔枝颜色特征的分析,选取YCbCr颜色模型进行处理,利用Otsu算法结合模糊C均值聚类法(FCM)对荔枝果实和果梗进行了分割,实验结果表明:有效识别果实和果梗的正确率为94.2％.通过计算果实质心与果梗的距离最大值确定荔枝采摘点,利用基于色调空间的彩色图像匹配法和极限约束法进行果梗采摘点的立体匹配,实现了采摘点的空间定位.通过定位误差分析,采用直线插值法进行定位误差补偿,定位实验结果表明:定位的深度误差小于10 mm,能满足荔枝机械手视觉精确定位的要求.     

基于CMOS图像传感器的采摘机器人嵌入式视觉系统

为了提高采摘机器人的自动化程度,实现自主导航和自主采摘作业能力,将基于CMOS图像传感器的嵌入式视觉系统引入到了采摘机器人的设计过程中,有效降低了机器人的设计复杂程度,提高了机器人的设计效率。采用DSP主控芯片构建了嵌入式图像处理系统,可以处理CMOS相机实时采集的图像,并采用模块化设计,构建了包括通讯单元、存储单元及视频输入输出接口的硬件系统,使各模块之间协调工作。为了验证方案的可行性,对一款果实采摘机器人进行了改装,安装了嵌入式视觉系统,并对其性能进行了测试。测试结果表明:采用基于CMOS图像传感器嵌入式视觉系统后,采摘机器人的定位准确率和采摘准率率都较高,满足了自动化采摘作业需求。     

温室环境下黄瓜采摘机器人信息获取

研究基于近红外图像的黄瓜果实与茎叶的信息表达方法，有效实现了近色系生物信息的图像识别。分析了黄瓜采摘深度图像信息的特点，通过建立基于灰度相关与极线几何相结合的匹配策略实现了双目视觉下的黄瓜抓取点的立体匹配和三维重建。研究温室环境下不同时间光照强度变化特点，建立了光照分析模型，提高了不同光照条件下的导航线提取的适应性。试验表明机器人视觉系统能有效识别、定位果实的空间位置，定位误差控制在±