基于深度学习的模糊农田图像中障碍物检测技术

针对图像实时采集时,由于镜头缺陷、相机抖动、目标运动等原因造成的模糊图像输入,导致训练完成的深度学习模型检测准确率下降问题,本文提出一种基于改进Faster R-CNN和SSRN-DeblurNet的两阶段检测方法,用于农田环境模糊图像中的障碍物检测.第1阶段进行锐度评价和去模糊处理,利用简化尺度循环网络(Simpli...     

基于单目摄像头的车辆前方障碍物的检测研究

针对车辆前方障碍物准确检测的需求,提出了一种基于单目摄像头的车辆前方障碍物的检测系统.通过单目摄像头对视频进行采集,获取单帧图像信息.通过在ROI区域内对道路上的障碍物进行检测,能够最大程度缩小检测范围,加快了运算效率.通过基于遗传算法的二维最大熵分割法分理出背景和障碍物,形态学算法去除其区域内的干扰物以及孤立点,最后...     

基于单目视觉的采摘机器人障碍物检测和路径规划

具有自主作业能力的采摘机器人一直是国际上研究的热点,而障碍物检测躲避能力是其重要的功能,因为在机器人识别作业区域或成熟果实后需要自主的定位和移动。为此,提出了一种基于单目视觉和人工势能场的障碍物检测和避障算法,可以有效采集和检测障碍物的信息,再依据障碍物及目标区域的距离使用人工势能场方法对路径进行优化,实现采摘机器人的自主移动。为了验证障碍物检测和避障方案的可行性,模拟采摘机器人作业环境和自主移动流程,对采摘机器人避障行为进行了测试。测试结果表明:采用单目视觉和人工势场方法可以使机器人成功的避障,并规划出效率最高的到达目标作业区域路径,对采摘机器人自主导航技术的研究具有重要的意义。     

基于信息融合的农业自主车辆障碍物检测方法

针对单一传感器在智能车辆环境感知中的局限性,提出一种基于摄像机与激光雷达信息融合的农业自主车辆前方障碍物检测方法。对单目摄像机获取的图像进行基于Ft（Frequency-tuned）算法的显著性检测,并生成显著图。同时对激光雷达反射点进行基于数据关联性评估的聚类分析,确定障碍物数量、边界与位置等先验信息。然后以激光雷达坐标相对应的图像像素坐标为种子点,由种子点激活经过处理的显著图,基于受限区域生长实现障碍物区域分割。试验结果表明,基于Ft算法的图像显著性检测具有更好的边缘检测效果,基于种子点的受限区域生长法可以有效地进行障碍物分割。在机器视觉的基础上融入激光雷达数据,可以更好地排除非障碍物的干扰,实现了障碍物的完整检出。     

基于立体视觉技术的多种农田障碍物检测方法

从摄像机标定、图像获取、双目校正、立体匹配、深度计算等方面研究多种农田障碍物检测方法,分别用Bouguet算法进行立体校正、用区域匹配方法获取视差图、用三角测量方法计算障碍物的深度,获取了不同环境下的5种障碍物及其位置信息,并使用计算机视觉函数库OpenCV,提高了算法的实时性。试验表明:障碍物与摄像机的距离小于2 000 mm时,准确识别率在96%以上,深度的绝对误差在±30 mm内(即相对误差在1.5%以下),且完成一次障碍物检测的时间小于100 ms。     

复杂环境下果园机器人路径规划方法研究

果园机器人在复杂环境中的工作效率的高低主要是由机器人的路径规划决定的,基本人工势场算法存在的问题很多,比如死锁现象、运行时间长等等.基于此提出一种新的算法,对基本人工势场算法进行改进.首先是重构识别路径,引人障碍物检测算法,可以识别出有效障碍物,同时还计算出有效的路径中间点;然后进行优化斥力作用,引入障碍物有关的边界条...     

基于激光雷达的农业机器人果园树干检测算法

针对丘陵山区果园中的斜坡及杂草影响果树检测精度的问题,提出了一种基于激光雷达的树干检测算法。首先,利用单线激光雷达获取环境信息,通过数据预处理滤除噪声点及无法利用的数据点,以树干为目标设定聚类半径,根据数据点到激光雷达的距离自适应设定聚类阈值,完成初步聚类;然后,利用初步聚类结果及地面类内数据点量大、且大致呈一条直线的特征,将数据点超过一定数量的类进行二次曲线拟合,将拟合半径大于一定阈值的类视为地面干扰,并将其剔除;最后,利用杂草枝叶类中数据点之间距离不连续的特征,将存在一定数量的相邻数据点距离较大的类视为杂草枝叶类,并将其剔除,从而完成对果园中果树树干的检测。结果表明：在无干扰情况下,对树干的误检率为0.76%、漏检率为1.90%,平均正确率为97.3%;在只存在地面干扰的情况下,树干检测平均正确率为96.1%;在只存在杂草干扰的情况下,树干检测平均正确率为91.4%;在同时存在地面和杂草干扰的情况下,树干检测平均正确率为91.9%,综合以上各种情况的树干检测平均正确率为95.5%,该方法可用于丘陵山区树干较明显的乔化果园中的树干检测,为精准农业装备在丘陵山区果园中的导航应用提供参考。     

基于小波多分辨率分解的农田障碍物检测

针对基于颜色或高度信息的农田障碍物检测方法仅能实现部分障碍物检测的缺点,提出了基于频率信息的检测方法.采用小波多分辨率分解,利用田间作物产生主频信息的总量优势及作物行分布规律确定作物所在频率层.在作物层上利用图像旋转投影法校正图像的同时,获得航位偏差和航向偏差;依据频率分布特性的改变,检测出发生行遮挡的疑似障碍物位置;依据非杂草类障碍物频率变化比较缓慢,在小波多分辨率分解的最高频率层上实现不发生作物行遮挡的疑似障碍物的检测;最后采用立体视觉匹配及频率信息的先验知识判定检测到的是否为障碍物.实验表明算法能检测出包括长满草的土堆、田头等各类障碍物,并能有效去除断垄干扰,单帧图像处理时间平均为79 ms.     

障碍物分类识别的果园机器人避障方法研究

针对果园环境复杂,障碍物种类繁多,传统动力无法有效进入作业的情况,提出一种基于障碍物分类识别的果园机器人自主避障方法。首先对果园中存在的障碍物进行识别分类,然后针对不同种类的障碍物采用不同的避障方法来完成避障动作。通过搭建基于ROS的避障试验台,对果园机器人上搭载的视觉传感器和激光雷达传感器进行标定,在ROS功能包中植入避障算法,然后进行验证。试验结果表明:在同等条件下,相比传统的避障方法,本文的方法避绕圆形障碍物时用时少1.7 s,所用路程少0.31 m,具有一定的优势;而在避绕不规则障碍物时,本文的方法虽然所用时间和路程比传统方法分别多1.7 s和0.41 m,但机器人能够更加贴近障碍物进行避障,对林下中耕施肥和除草等作业有很大帮助,具有很好的实际应用价值。     

基于双目视觉的作物苗期障碍物三维信息检测方法

农业智能装备在实际农田环境中行进或作业的过程中需要感知多变环境下的各种障碍物.为此,基于双目视觉,开展了作物苗期农田障碍物三维信息检测方法研究,提出了一种基于特征的障碍物检测算法.首先,利用边缘检测算法去除天空背景,提取出障碍物潜在区域的上边界线,利用超绿特征颜色变换去除绿色作物苗期农田背景,提取下边界线;然后,通过阈...     

基于神经网络的移动机器人避障控制和决策

针对移动机器人避障的特点,提出了一种基于神经网络的动态避障控制方法。介绍了避障行为的决策、基于神经网络的机器人在避障过程中的运动控制等。该方法不用考虑障碍物的运动状态,简化了机器人避障的步骤,机器人能够根据各种情况灵活地判断是否避障以及灵活地选择适当的避障方式,提高了机器人避障的灵活性和鲁棒性。仿真试验证明这种方法是可行而有效的。     

基于特征融合的果园非结构化道路识别方法

针对果园道路无明显边界且道路边缘存在阴影、土壤和沙石干扰等问题,提出一种基于特征融合的果园非结构化道路识别方法。通过相机标定获取畸变参数对采集到的图像进行畸变矫正,并提出一种基于滤波与梯度统计相结合的动态感兴趣区域(ROI)提取方法对HSV颜色空间S分量进行ROI选取,采用最大值法将颜色特征与S分量多方向纹理特征掩膜相融合并进行二值化与降噪处理。根据道路边缘突变特征寻找特征点,并提出一种基于距离与位置双重约束的两级伪特征点剔除方法。为更好贴合非结构化道路不规则边缘,引入分段三次样条插值法拟合道路边缘,以此实现道路识别。试验结果表明,在晴天、阴天、顺光、逆光、冬季晴天和雨雪天气6种工况条件下,S分量、纹理图像和融合图像的平均纵向偏差均值分别为2.43、39.71、1.36像素,平均偏差率均值分别为0.99%、18.02%和0.54%,相较于S分量与纹理图像而言,使用本文方法构建的融合图像其平均纵向偏差与平均偏差率均得到有效减少。最小二乘法、随机采样一致性法(RANSAC)与分段三次样条插值法拟合边缘的平均偏差均值分别为2.64、3.16、0.66像素,平均偏差率均值分别为1.02%、1....     

基于篮球运动的避障系统开发设计

随着科技水平的提高,机器人的应用范围不断增加,其工作环境复杂多变,设计出一套应变能力强的避障系统必不可少。为此,阐述了基于篮球运动的避障系统设计,引用篮球运动中的个人防守技巧和立体型进攻防守技巧,研究篮球运动中进攻时的防守躲避意识,以动态窗法建立工作控制,并对工作环境信息实时采集分析,反应到控制系统,及时躲避障碍。农业机器人的行进方向采用模糊逻辑控制方法,避障系统设计则以VFH避障算法实现自主避障。避障系统设计中需要考虑动态障碍的运动学,才可及时自主避开。仿真试验结果证明了该避障系统的有效性和实时性。     

基于机器视觉的农业机器人运动障碍目标检测

在农业移动机器人平台上运用机器视觉技术检测作业环境中是否存在运动障碍目标时,机器人自身运动会与障碍目标运动叠加在一起.为此,首先在移动机器人平台上连续采集两帧图像,提取其特征点并加以匹配;然后应用双线性模型描述对应特征点在图像之间的运动特性,并用最小二乘法对模型参数进行最优估计,得到两帧图像之间的变换矩阵;最后利用此变换矩阵补偿前帧图像来消除机器人自身运动的影响,再与后帧图像作帧差,在线检测出运动障碍目标.实验结果表明,该方法仅依据图像信息即可有效地检测出农业机器人导航环境中存在的运动障碍目标.     

基于双目相机与改进YOLOv3算法的果园行人检测与定位

针对复杂果园环境中行人难以精确检测并定位的问题,提出了一种双目相机结合改进YOLOv3目标检测算法的行人障碍物检测和定位方法。该方法采用ZED双目相机采集左右视图,通过视差原理获取图像像素点的距离信息;将双目相机一侧的RGB图像作为用树形特征融合模块改进的YOLOv3算法的输入,得到行人障碍物在图像中的位置信息,结合双目相机获得的像素位置信息计算出相对于相机的三维坐标。用卡耐基梅隆大学国家机器人工程中心开放的果园行人检测数据集测试改进的YOLOv3算法,结果表明,准确率和召回率分别达到95.34%和91.52%,高于原模型的94.86%和90.19%,检测速度达到30.26 f/ms。行人检测与定位试验表明,行人障碍物的定位在深度距离方向平均相对误差为1.65%,最大相对误差为3.80%。该方法具有快速性和准确性,可以较好地实现果园环境中的行人检测与定位,为无人驾驶农机的避障决策提供依据。     

基于改进SSD的果园行人实时检测方法

农田障碍物的精确识别是无人农业车辆必不可少的关键技术之一。针对果园环境复杂难以准确检测出障碍物信息的问题,提出了一种改进单次多重检测器(Single shot multibox detector,SSD)深度学习目标检测方法,对田间障碍物中的行人进行识别。使用轻量化网络MobileNetV2作为SSD模型中的基础网络,以减少提取图像特征过程中所花费的时间及运算量,辅助网络层以反向残差结构结合空洞卷积作为基础结构进行位置预测,在综合多尺度特征的同时避免下采样操作带来的信息损失,基于Tensorflow深度学习框架,在卡耐基梅隆大学国家机器人工程中心的果园行人检测开放数据集上进行不同运动状态(运动、静止)、不同姿态(正常、非正常)和不同目标面积(大、中、小)的田间行人识别精度和识别速度的对比试验。试验表明,当IOU阀值为0. 4时,改进的SSD模型田间行人检测模型的平均准确率和召回率分别达到了97. 46%和91. 65%,高于改进前SSD模型的96. 87%和88. 51%,并且参数量减少至原来的1/7,检测速度提高了187. 5%,检测速度为62. 50帧/s,模型具有较好的鲁棒性,可以较好地实现田间环境下行人的检测,为无人农机的避障决策提供依据。     

基于欧氏聚类的三维激光点云田间障碍物检测方法

为满足目前农业机械(简称农机)自动驾驶中农田障碍物检测的需求,提出了一种使用三维激光雷达检测田间障碍物的方法.该方法首先对采集的环境点云进行预处理,采用体素栅格下采样滤波,将稠密的点云在不损失特征信息的情况下进行减量;采用三维长方体对角点划定感兴趣区域以便快速计算;采用随机采样一致性(RANSAC)算法检测出农田地面点...     

神经网络在果蔬收获机器人机械臂避障路径中的应用

果蔬收获机器人是机器人技术在农业中的具体应用,基于避障的路径规划是果蔬收获机器人主要的研究内容.由于农业机器人作业环境的复杂性和非结构性,神经网络将是其重要的研究方法.为此,介绍了神经网络的特点,重点分析了采用神经网络描述果蔬收获机器人工作环境的基本思路,最后给出了黄瓜采摘机器人的具体分析实例,对农业机器人工作环境的描述具有较高的参考价值.