采摘机器人果实识别与定位研究——基于双目视觉和机器学习

分析了双目视觉系统的工作原理及视觉标定方法,利用YOLO V2卷积神经网络算法实现对目标果实的识别,并对目标果实的空间定位进行了深入研究,设计了一套基于双目视觉和机器学习的采摘机器人果实识别与定位系统。在多次实际定位实验中,橘子的深度定位误差最大值为1.06mm,证实了系统具有一定的准确性和稳定性。     

基于双目视觉系统的农用无人机导航算法研究

农用无人机市场大,发展迅速,双目视觉系统对周边环境检测能力强,被广泛用于路径规划、避障和导航中。针对农用无人机的路径规划和导航的特定场合,利用双目视觉、图像处理和嵌入式控制等技术,设计了一套农用无人机导航算法,可以为无人机提供准确的导航策略。     

采摘机器人水果检测及定位研究——基于图像处理和卷积神经网络

首先,设计了一种采用K-means聚类算法和图像处理相结合的目标边缘识别算法,可以获得完整的目标边缘轮廓;然后,利用卷积神经网络和双目视觉技术实现了采摘机器人水果检测及定位方法。实验结果表明:该采摘机器人水果检测及定位方法较好,计算量小,处理速度快,误差较小,能够满足采摘要求。     

番茄收获机器人视觉系统标定的研究

番茄收获机器人在番茄收获中是靠其视觉系统来获得目标位置信息的,而在定位过程中,首先遇到的就是摄像机的标定问题。为此,主要研究了番茄收获机器人双目视觉系统的标定,标定出了番茄收获机器人双目视觉系统的内部参数和外部参数,为番茄收获机器人双目定位系统提供了系统参数。     

双目立体视觉在果树采摘机器人中的应用

果树采摘机器人是未来智能农业机械化的发展方向,具有广阔的应用前景。为此,针对果树采摘机器人作业环境的复杂性与定位目标的特殊性,从双目定位的几何模型出发,归纳了双目定位的基本过程,总结了立体视觉的摄像机标定问题,提出变焦距双目视觉定位果实的研究方向,并对双目图像的匹配问题进行了分析。     

基于嵌入式Linux的农用无人机视觉导航算法及应用

首先介绍了农用无人机机械结构与工作原理,接着介绍了双目视觉成像原理及视觉系统相机标定,并从图像采集和图像处理等模块介绍了嵌入式硬件平台,最后利用人工势场实现了农用无人机视觉导航算法。MatLab仿真结果表明:农用无人机在在无障碍物和有障碍物下,能够利用视觉导航算法,准确进行避障和导航,且仿真结果与预期效果一致,验证了农用无人机视觉导航算法的可行性和有效性。     

温室草莓采摘机器人设计与试验

为实现温室草莓采摘机械化和自动化,设计并制作一种应用于日光温室的草莓采摘机器人。该机器人能实现自主路径规划,行走过程中识别成熟草莓并完成采摘。设计以ROS分布式计算系为主控制网络,以激光雷达进行移动机器人的地图构建与定位,双目深度相机实现对成熟草莓的识别和定位,搭载柔性仿生夹爪6自由度机械臂实现目标草莓抓取和放置。设计机器人软件平台,使用改进A*算法实现自主路径规划和导航避障;利用R-FCN目标检测网络和双目视觉技术实现成熟草莓检测及定位。结果表明：该草莓采摘机器人可实现目标检测及定位,检测到的草莓坐标与机器人手爪坐标的误差在4 mm以下,成熟草莓识别率为95%,满足采摘要求。     

基于视觉组合的苹果作业机器人识别与定位

为实现机器人自动化采摘作业,设计了苹果作业机器人识别与定位系统.模拟人类采摘过程,采用单、双目视觉组合传感器系统,克服了现有识别与定位系统对目标到视觉传感器距离的依赖性.实现了对单、双目视觉系统的单独和组合标定,与手动测量结果相比,双目视觉系统标定后3个方向的标准偏差分别为3.4、1.2和1.2 cm.提出了基于苹果颜色、形状和位置特征的识别与定位方法,试验结果表明:当工作距离为240 cm时,双目视觉系统可以准确识别并定位所有苹果,深度方向标准差为4.9 em;当工作距离为150 cm时,双目视觉系统深度方向标准差为2.4 cm;当工作距离小于100 cm时,单目视觉传感器测量目标到传感器距离的标准偏差为1.0 cm.     

玉米叶片生长状态的双目立体视觉监测技术

研究了使用双目立体视觉技术监测玉米叶片运动的可行性,视觉监测系统包括一个能够垂直升降和水平移动的支架,用于支撑双目相机连续监测被试样品。采用白色荧光小球作为标志物,简化图像算法的同时增加了三维坐标测量精度。图像处理过程中采用亚像素边缘检测算法,有效地提高了立体匹配的精度。仿真实验结果表明,系统测量误差可达0.0139 cm,能够检测叶片微小的位置变化。     

基于视觉标志检测的旋翼无人机姿态估计方法

为了使旋翼无人机快速、精确、自主降落到地面着陆平台,提出一种基于视觉标志检测的无人机姿态估计方法。首先,利用标准直升机停机坪的几何特征,采用标志五步提取算法从机载摄像头采集的图像中获取视觉标志;为了满足无人机自主着陆过程的快速性和实时性,提出一种基于距离三点法的角点检测算法,得到H形标志的12个角点;然后,通过对角点分类、编号,并与参考图像中的对应角点进行匹配,解算出包含相对姿态信息的单应矩阵;最后,应用直接线性变换(Direct linear transformation,DLT)分解单应矩阵得到无人机的姿态角,并依据相机成像的相似三角形原理计算出无人机相对于视觉标志的位置,解决了单目相机尺度不确定性问题。通过实验平台模拟无人机不同飞行状态下的姿态并进行估计,对提出算法的实时性和准确性进行了实验验证。实验结果表明:本文算法的平均执行时间为307. 2 ms,位置估计的最大均方根误差为0. 006 2 m,姿态角估计的最大均方根误差为0. 313°,满足无人机自主着陆的准确性和实时性要求。     

田间果蔬采摘机器人视觉传感器设计与试验

针对田间果蔬采摘机器视觉识别与定位的需求,设计嵌入式采摘视觉传感器,内嵌130万像素CMOS图像传感器和开放性MCU,配置亮度处理模块和室外光自适应控制专家库,解决室外光变化影响视觉检测的难题.用主从传感器构造双目视觉系统,配置图像分割和测距算法,进行采摘目标的识别与定位.经试验和测试,在采摘臂长范围内,对成熟西红柿的识别有效率为96%,位置误差±12 mm.     

农业采摘机器人视觉感知关键技术研究

为了提高农业机器人在复杂野外环境下采摘油茶果的速度和准确性,针对机器人视觉感知的关键技术,设计了一种农业机器人果实检测、定位和采摘系统。首先,使用双目相机采集油茶果的左右图像;然后,应用先进的目标检测网络YOLOv4-tiny检测出左右图像中的油茶果;再次,不同于传统的双目相机图像的立体匹配技术,根据YOLOv4-tiny网络生成的预测框提取出油茶果图像的感兴趣区域,并根据预测框的生成机制自适应地进行立体匹配以求解出视差,为后续使用三角测量原理求出油茶果采摘点提供参考;最后,使用基于Eye-in-Hand手眼标定的农业机器人进行采摘试验,验证了本研究的可行性和准确性。试验结果表明：YOLOv4-tiny网络能够精确和实时地检测油茶果,提出的定位方法满足采摘机器人的应用需求,验证了本研究的可行性和准确性。研究可为果园环境中作业的农业采摘机器人视觉感知关键技术提供参考。     

基于双目视觉的田间作物高度和收割边界信息提取

为实现收获机无人驾驶自适应调控,提出一种基于双目视觉对田间作物高度和收割边界信息进行提取的方法.利用双目相机获取三维数据,基于RANSAC算法拟合初始地面平面,结合IMU计算作业实时平面,根据点到平面的距离将三维数据转换为对应的实际高度.提出一种改进的结合密度峰聚类和K均值聚类的方法对高度数据分类,同时基于归一化彩色图...     

基于机器视觉的试管液位检测方法研究

利用目前机器视觉技术,提出一种基于数字形态学结合Laplacian算子的边缘检测算法,将其应用到对试管液面检测中,得到了精度高、定位准的液面位置,从而可以得出液面高度与试管内试剂体积.通过CCD工业相机拍摄试管图像,对图像进行灰度化、滤波,图像增强后,利用LoG边缘检测算法结合数字形态学操作得到清晰的边缘图像,最后得出...     

基于双目相机与改进YOLOv3算法的果园行人检测与定位

针对复杂果园环境中行人难以精确检测并定位的问题,提出了一种双目相机结合改进YOLOv3目标检测算法的行人障碍物检测和定位方法。该方法采用ZED双目相机采集左右视图,通过视差原理获取图像像素点的距离信息;将双目相机一侧的RGB图像作为用树形特征融合模块改进的YOLOv3算法的输入,得到行人障碍物在图像中的位置信息,结合双目相机获得的像素位置信息计算出相对于相机的三维坐标。用卡耐基梅隆大学国家机器人工程中心开放的果园行人检测数据集测试改进的YOLOv3算法,结果表明,准确率和召回率分别达到95.34%和91.52%,高于原模型的94.86%和90.19%,检测速度达到30.26 f/ms。行人检测与定位试验表明,行人障碍物的定位在深度距离方向平均相对误差为1.65%,最大相对误差为3.80%。该方法具有快速性和准确性,可以较好地实现果园环境中的行人检测与定位,为无人驾驶农机的避障决策提供依据。     

苹果采摘机器人目标识别与定位方法研究

【目的】在算力资源有限的嵌入式设备上对目标苹果进行快速、准确的识别与定位。【方法】研究小组对采摘机器人的目标识别与定位方法进行研究,以YOLOv4网络模型为基础,对YOLOv4进行轻量化改进,使用MobileNet V3作为特征提取的主干网络,减少模型的计算量,并结合ZED双目相机与定位算法在嵌入式平台上进行实验。【结果】实验表明：1）在目标识别方面,改进后模型的平均检测精度为87.32%,模型的大小为53.76 MB,较改进前降低了79%。2）采用ZED相机结合测距算法进行了苹果目标定位实验,ZED双目相机的测距误差可控制在0.02 m以内,同时改进的YOLOv4算法的平均检测速度在15FPS左右。【结论】改进后的YOLOv4网络模型更适合部署在算力有限的嵌入式设备中进行苹果采摘任务,且能够满足苹果采摘任务的实时性要求。因此,该方法可以为苹果采摘机器人的识别与定位提供技术参考。     

基于双目视觉的复合肥颗粒检测系统

提出了一种针对高粉尘强腐蚀环境的复合肥颗粒双目视觉检测系统。首先分析检测系统使用需求,提出实现连续大样本快速检测、实时显示结果、防腐除尘等功能的设计要求;提出3种双目视觉检测方案并进行对比,确定双目线阵CCD检测为可行方案。接着对系统硬件进行配置,并进行防腐除尘设计。为提高检测精度对电磁振动给料机进行自适应伺服控制,采用双相机并行的图像处理程序。对检测系统进行粒度分布实验,结果表明,检测系统误差在±3%范围内,满足实际应用要求。     

基于机器视觉的目标识别与抓取研究

针对视觉机器人设计中传统的目标识别算法受环境、对象变化的制约,且在识别正确率及速度上存在问题,提出了基于深度学习的目标精准检测与识别方法。首先,基于深度学习的YOLO算法通过数据训练后能对目标进行准确识别,并给出目标的位置信息,然后利用双目视觉对目标进行精准定位并得到其三维坐标,最后传输给机器人并控制机器人移动抓取目标物体。实验结果表明,该方法能够准确快速地对目标进行识别与定位,并成功地指导机器人抓取目标物体。     

基于YOLO v5m的红花花冠目标检测与空间定位方法

针对红花采摘机器人田间作业时花冠检测及定位精度不高的问题,提出了一种基于深度学习的目标检测定位算法(Mobile safflower detection and position network, MSDP-Net)。针对目标检测,本文提出了一种改进的YOLO v5m网络模型C-YOLO v5m,在YOLO v5m主干网络和颈部网络插入卷积块注意力模块,使模型准确率、召回率、平均精度均值相较于改进前分别提高4.98、4.3、5.5个百分点。针对空间定位,本文提出了一种相机移动式空间定位方法,将双目相机安装在平移台上,使其能在水平方向上进行移动,从而使定位精度一直处于最佳范围,同时避免了因花冠被遮挡而造成的漏检。经田间试验验证,移动相机式定位成功率为93.79%,较固定相机式定位成功率提升9.32个百分点,且在X、Y、Z方向上移动相机式定位方法的平均偏差小于3 mm。将MSDP-Net算法与目前主流目标检测算法的性能进行对比,结果表明,MSDP-Net的综合检测性能均优于其他5种算法,其更适用于红花花冠的检测。将MSDP-Net算法和相机移动式定位方法应用于自主研发的红花采摘机器人上进行...     

基于双目视觉的农业机器人运动定位与避障研究

针对当前机器人定位避障技术中,感知外界环境信息单一及误差大等问题,提出了一种基于双目视觉的农业机器人运动定位和避障系统,可以通过双目视觉采集农业机器人周边的环境信息,实现农业机器人运动定位和避障。MatLab实验结果表明:农业机器人从起点成功到达终点,算法路径为最优避障路径,证明了系统的准确性和可行性。