基于立体视觉技术的多种农田障碍物检测方法

从摄像机标定、图像获取、双目校正、立体匹配、深度计算等方面研究多种农田障碍物检测方法,分别用Bouguet算法进行立体校正、用区域匹配方法获取视差图、用三角测量方法计算障碍物的深度,获取了不同环境下的5种障碍物及其位置信息,并使用计算机视觉函数库OpenCV,提高了算法的实时性。试验表明:障碍物与摄像机的距离小于2 000 mm时,准确识别率在96%以上,深度的绝对误差在±30 mm内(即相对误差在1.5%以下),且完成一次障碍物检测的时间小于100 ms。     

基于双目视觉的作物苗期障碍物三维信息检测方法

农业智能装备在实际农田环境中行进或作业的过程中需要感知多变环境下的各种障碍物。为此,基于双目视觉,开展了作物苗期农田障碍物三维信息检测方法研究,提出了一种基于特征的障碍物检测算法。首先,利用边缘检测算法去除天空背景,提取出障碍物潜在区域的上边界线,利用超绿特征颜色变换去除绿色作物苗期农田背景,提取下边界线;然后,通过阈值分割算法提取障碍物目标区域;最后,通过重心特征点立体匹配来获取视差值,结合MatLab标定获取的相机内外参数进行三维重建,计算障碍物的距离、宽度和高度三维信息。田间试验结果表明:该算法可以正确提取出障碍物目标区域,障碍物距离、宽度和高度检测的平均相对误差分别为4.7%、5.79%和1.78%,能够满足农业智能装备田间障碍物检测的需求,具有较好的可靠性。     

苹果采摘机器人目标识别与定位方法研究

【目的】在算力资源有限的嵌入式设备上对目标苹果进行快速、准确的识别与定位。【方法】研究小组对采摘机器人的目标识别与定位方法进行研究,以YOLOv4网络模型为基础,对YOLOv4进行轻量化改进,使用MobileNet V3作为特征提取的主干网络,减少模型的计算量,并结合ZED双目相机与定位算法在嵌入式平台上进行实验。【结果】实验表明：1）在目标识别方面,改进后模型的平均检测精度为87.32%,模型的大小为53.76 MB,较改进前降低了79%。2）采用ZED相机结合测距算法进行了苹果目标定位实验,ZED双目相机的测距误差可控制在0.02 m以内,同时改进的YOLOv4算法的平均检测速度在15FPS左右。【结论】改进后的YOLOv4网络模型更适合部署在算力有限的嵌入式设备中进行苹果采摘任务,且能够满足苹果采摘任务的实时性要求。因此,该方法可以为苹果采摘机器人的识别与定位提供技术参考。     

基于D2-YOLO去模糊识别网络的果园障碍物检测

针对果园目标检测时相机抖动以及物体相对运动导致检测图像模糊的问题,本文提出一种将DeblurGAN-v2去模糊网络和YOLOv5s目标检测网络相融合的D2-YOLO一阶段去模糊识别深度网络,用于检测识别果园模糊场景图像中的障碍物。为了减少融合网络的参数量并提升检测速度,首先将YOLOv5s骨干网络中的标准卷积替换成深度可分离卷积,并且在输出预测端使用CIoU＿Loss进行边界框回归预测。融合网络使用改进的CSPDarknet作为骨干网络进行特征提取,将模糊图像恢复原始自然信息后,结合多尺度特征进行模型预测。为了验证本文方法的有效性,选取果园中7种常见的障碍物作为目标检测对象,在Pytorch深度学习框架上进行模型训练和测试。试验结果表明,本文提出的D2-YOLO去模糊识别网络准确率和召回率分别为91.33%和89.12%,与分步式DeblurGAN-v2+YOLOv5s相比提升1.36、2.7个百分点,与YOLOv5s相比分别提升9.54、9.99个百分点,能够满足果园机器人障碍物去模糊识别的准确性和实时性要求。     

基于改进SSD的果园行人实时检测方法

农田障碍物的精确识别是无人农业车辆必不可少的关键技术之一。针对果园环境复杂难以准确检测出障碍物信息的问题,提出了一种改进单次多重检测器(Single shot multibox detector,SSD)深度学习目标检测方法,对田间障碍物中的行人进行识别。使用轻量化网络MobileNetV2作为SSD模型中的基础网络,以减少提取图像特征过程中所花费的时间及运算量,辅助网络层以反向残差结构结合空洞卷积作为基础结构进行位置预测,在综合多尺度特征的同时避免下采样操作带来的信息损失,基于Tensorflow深度学习框架,在卡耐基梅隆大学国家机器人工程中心的果园行人检测开放数据集上进行不同运动状态(运动、静止)、不同姿态(正常、非正常)和不同目标面积(大、中、小)的田间行人识别精度和识别速度的对比试验。试验表明,当IOU阀值为0. 4时,改进的SSD模型田间行人检测模型的平均准确率和召回率分别达到了97. 46%和91. 65%,高于改进前SSD模型的96. 87%和88. 51%,并且参数量减少至原来的1/7,检测速度提高了187. 5%,检测速度为62. 50帧/s,模型具有较好的鲁棒性,可以较好地实现田间环境下行人的检测,为无人农机的避障决策提供依据。     

农业采摘机器人视觉感知关键技术研究

为了提高农业机器人在复杂野外环境下采摘油茶果的速度和准确性,针对机器人视觉感知的关键技术,设计了一种农业机器人果实检测、定位和采摘系统。首先,使用双目相机采集油茶果的左右图像;然后,应用先进的目标检测网络YOLOv4-tiny检测出左右图像中的油茶果;再次,不同于传统的双目相机图像的立体匹配技术,根据YOLOv4-tiny网络生成的预测框提取出油茶果图像的感兴趣区域,并根据预测框的生成机制自适应地进行立体匹配以求解出视差,为后续使用三角测量原理求出油茶果采摘点提供参考;最后,使用基于Eye-in-Hand手眼标定的农业机器人进行采摘试验,验证了本研究的可行性和准确性。试验结果表明：YOLOv4-tiny网络能够精确和实时地检测油茶果,提出的定位方法满足采摘机器人的应用需求,验证了本研究的可行性和准确性。研究可为果园环境中作业的农业采摘机器人视觉感知关键技术提供参考。     

基于VINS-MONO和改进YOLO v4-Tiny的果园自主寻筐方法

面向果园运输车果品采收自主运输作业场景，提出了一种基于VINS-MONO和改进YOLO v4-Tiny的果园自主寻筐方法。首先基于VINS-MONO视觉惯性里程计算法，进行果园运输车位置姿态的实时估计。然后基于改进YOLO v4-Tiny目标检测算法，根据图像数据进行果筐实时目标检测并获取对应深度信息。其次根据运输车当前位置姿态、果筐深度信息以及深度相机内参，进行被识别果筐位置更新。最后基于三次B样条曲线拟合原理，以被识别果筐位置为控制点，进行寻筐路径实时拟合，为果园运输车抵近果筐提供路线引导。试验结果表明：改进YOLO v4-Tiny果筐识别模型的平均识别精度为93.96%,平均推理时间为14.7 ms, 4 m内的果筐距离定位误差小于4.02%,果筐角度定位误差小于3°,果园运输车实测平均行驶速度为3.3 km/h,果筐搜寻路线平均更新时间为0.092 s,能够在果树行间和果园道路两种作业环境下稳定实现自主寻筐。该方法能够为果园运输车提供自主寻筐路径引导，为其视觉导航提供研究参考。     

基于改进YOLOv5的割草机器人工作环境障碍物检测方法研究

为实现割草机器人在计算资源有限的情况下快速、准确地定位并识别工作环境中的障碍物，提出一种基于滤波器剪枝的改进YOLOv5s深度学习模型的割草机器人工作环境下障碍物的检测方法。首先，将YOLOv5模型中的Bottleneck残差块改为分层残差结构，以更细粒度地表示多尺度特征，同时增加网络感受野；另外，在残差块尾部加入SE模块，用来对特征图重新标定；其次，对改进后的算法进行滤波器剪枝；最后，针对割草机器人工作环境中的常见障碍物建立相关数据集，并使用剪枝后改进YOLOv5s作为深度学习模型进行检测。试验结果表明：改进后的YOLOv5模型大小减少188%，mAP增加0.1%。对改进YOLOv5模型进行剪枝后，比原YOLOv5模型计算量降低36.6%，模型大小降低333%，推理速度减少1.9 ms。剪枝后本文模型的mAP值分别比YOLOv4，YOLOv4-tiny，YOLOv3，YOLOv3-tiny高1.3%，9.5%，5.8%，22.1%。     

基于混合蛙跳优化的采摘机器人相机标定方法

针对采摘机器人领域传统的张正友相机标定方法存在对相机模型参数初值敏感和标定结果不稳定等问题,提出一种基于改进混合蛙跳和LM算法的相机标定方法。该方法把相机标定划分为两步:(1)以混合蛙跳优化为工具,求出相机模型参数的初始值,避免传统张正友相机标定方法直接求取相机模型的参数初值所带来的初值敏感问题。(2)以改进LM算法对第1步求出的相机模型参数初值进行非线性优化求精,避免张正友相机标定方法须求取相机模型优化参数的雅可比矩阵,从而导致标定结果不稳定的问题。采用Open CV编写采摘机器人双目视觉标定系统,分别对传统张正友相机标定方法、基于遗传算法的相机标定方法、基于标准混合蛙跳算法的相机标定方法和本文相机标定方法进行相机标定试验。试验结果表明:本文相机标定方法所获得的左相机焦距的绝对误差为0. 065～0. 506 mm、相对误差为1. 899%～12. 652%,平面靶标图像特征点的平均像素误差为0. 166～0. 175像素;右相机焦距的绝对误差为0. 083～0. 360 mm、相对误差为2. 429%～11. 484%,平面靶标图像特征点的平均像素误差为0. 103～0. 114像素;双目相机之间距离的绝对误差为1. 866～2. 789 mm、相对误差为3. 209%～4. 874%。以上参数精度及收敛速度和稳定性均优于其他相机标定方法,从而验证了该方法所获得的相机标定参数具有较高的准确性和可靠性。     

基于改进YOLOv3的田间复杂环境下菠萝拾捡识别研究

为实现果实拾捡机器人在光照不均、菠萝与周围环境的颜色相似性及果实间的遮挡和重叠等田间复杂环境下对单类别菠萝的快速准确识别,提出采用深度学习下的深层残差网络改进YOLOv3卷积神经网络结构,通过单个卷积神经网络遍历整个图像,回归果实的位置,将改进的YOLOv3的3个尺度检测分别融合相同尺度模块特征层的信息,在保证识别准确率的情况下,采用多尺度融合训练网络实现田间复杂环境下端对端的单类别菠萝果实检测。最后,对改进的算法进行性能评价与对比试验,结果表明,该算法的检测识别率达到95%左右,较原始方法检测性能提升的同时,检测速度满足实时性要求,该研究为拾捡果实机器人在复杂环境下提高识别菠萝果实的工作效率和环境适应性提供理论基础。     

基于北斗的农业机械立体视觉辅助导航系统设计

为提高农机在果园复杂环境下作业精度，降低驾驶员劳动强度，设计了精准辅助导航系统。通过北斗差分定位设备获取农业机械的经纬度、航向角度以及行驶速度等数据，根据农田信息规划出全局行驶路径，实时计算农业机械行驶过程中的航向偏角、行驶距离和耕作面积并绘制行驶轨迹，根据观察航向偏角和行驶轨迹，驾驶员来修正作业机械使农机按规划路径行驶。系统采用基于红外散斑的深度立体视觉相机，降低自然光线限制，以此获取农业机械前方深度图像，根据视觉算法对图像中的作物或障碍加以检测，并计算其到农业机械和路径中心线距离，判断是否需要避障并提示驾驶员应调整方向，当调整方向进行避障后返回到已规划路径继续行驶。试验结果表明，辅助导航系统在直线行驶试验时横向行驶最大偏差小于5 cm，能够辅助驾驶员按规划路径精准行驶；基于立体视觉的障碍检测测距误差范围在4%以内，且处理每帧图像耗时最大为40 ms，实时性很高，能高效辅助驾驶员进行精确避障。      

基于机器视觉的无人机避障系统研究

无人机避障不及时造成的人员伤亡及财产损失是阻碍无人机发展应用的重要原因之一,实时性好、准确率高的避障系统可降低无人机的运行风险。提出基于目标检测的智能避障系统,以one stage与two stage目标检测方法相结合的方式改进目标检测模型YOLOv3。其中,障碍物检测分三部分完成:基于darknet-53进行三个不同尺度的特征提取、RPN根据ground truth筛选感兴趣区域和yolo层多尺度特征融合预测障碍物的位置和分类。然后,在该文数据集的基础上将训练好的障碍物检测模型进行测试,测试结果表明:改进模型的障碍物检测速率为25帧/s,mAP为95.52%,与现有的目标检测模对比结果表明:本研究改进的目标检测智能避障算法,比Faster R-CNN的mAP提高17.2%,检测速率加快14个FPS;并在保证实时性的同时,mAP比YOLO2提高23.3%,比YOLOv3提高6.25%。最后,将目标检测模型应用于无人机避障系统中提出实现方案,进一步为无人机安全运行提供新的方法。     

基于深度相机的山地果园运输车避障系统设计

为避免山地果园单轨运输车在运行过程中碰撞到作业果农、牲畜、大型石块等障碍物,提高果园作业的安全性和稳定性,采用深度相机基于渡越时间法设计一套山地果园单轨运输车避障系统。该系统运行时由深度相机获取运输车通行通道障碍物信息,经过运行Linux系统的树莓派车载电脑进行数据处理,做出决策后下发标志位信号至运输车控制中枢Stm32微控制器,控制电机改变运动状态。试验结果表明:该系统对于障碍物识别率为100%,对于符合修剪要求的干扰型侧枝,其误触率在8%以下,避障最小制动距离为101 cm,系统最大延时0.475 s。     

温室草莓采摘机器人设计与试验

为实现温室草莓采摘机械化和自动化,设计并制作一种应用于日光温室的草莓采摘机器人。该机器人能实现自主路径规划,行走过程中识别成熟草莓并完成采摘。设计以ROS分布式计算系为主控制网络,以激光雷达进行移动机器人的地图构建与定位,双目深度相机实现对成熟草莓的识别和定位,搭载柔性仿生夹爪6自由度机械臂实现目标草莓抓取和放置。设计机器人软件平台,使用改进A*算法实现自主路径规划和导航避障;利用R-FCN目标检测网络和双目视觉技术实现成熟草莓检测及定位。结果表明：该草莓采摘机器人可实现目标检测及定位,检测到的草莓坐标与机器人手爪坐标的误差在4 mm以下,成熟草莓识别率为95%,满足采摘要求。     

基于欧氏聚类的三维激光点云田间障碍物检测方法

为满足目前农业机械(简称农机)自动驾驶中农田障碍物检测的需求,提出了一种使用三维激光雷达检测田间障碍物的方法.该方法首先对采集的环境点云进行预处理,采用体素栅格下采样滤波,将稠密的点云在不损失特征信息的情况下进行减量;采用三维长方体对角点划定感兴趣区域以便快速计算;采用随机采样一致性(RANSAC)算法检测出农田地面点...     

改进YOLOv4的温室环境下草莓生育期识别方法

针对目前设施农业数字化栽培调控技术中对作物的生育期实时检测与分类问题，提出一种改进YOLOv4的温室环境下草莓生育期识别方法。该方法将注意力机制引入到YOLOv4主干网络的跨阶段局部残差模块（Cross Stage Partial Residual，CSPRes）中，融合草莓不同生长时期的目标特征信息，同时降低复杂背景的干扰，提高模型检测精度的同时保证实时检测效率。以云南地区的智能设施草莓为试验对象，结果表明，本研究提出的YOLOv4-CBAM（YOLOv4-Convolutional Block Attention Module）模型对开花期、果实膨大期、绿果期和成熟期草莓的检测平均精度（Average Precision，AP）分别为92.38%、82.45%、68.01%和92.31%，平均精度均值（Mean Average Precision，mAP）为83.79%，平均交并比（Mean Inetersection over Union，mIoU）为77.88%，检测单张图像时间为26.13 ms。YOLOv4-CBAM模型检测草莓生育期的mAP相比YOLOv4、YOLOv4-SE、YOLOv4-SC模型分别提高8.7%、4.82%和1.63%。该方法可对草莓各生育期目标进行精准识别和分类，并为设施草莓栽培的信息化、规模化调控提供有效的理论依据。