基于激光雷达的果园行间路径提取与导航

针对车辆果园行间自主导航出现的车辆偏航、非相邻树行干扰、植株缺失、树行弯曲等问题,提出一种基于激光雷达的行间路径提取方法,构建多样化虚拟果园环境仿真行间路径导航过程,评估路径提取算法性能。行间路径提取时,采用二维激光雷达（Light detection and ranging,LiDAR）获取果园树干测量数据,通过中值滤波削弱测量噪声,设计椭圆感兴趣区域（Region of interest,ROI）提取相邻树行,提出两步树行分割法获取相邻树行数据,通过最小二乘法拟合树行直线,将树行中心线作为导航路径。行间导航仿真时,建立虚拟果园环境和LiDAR测量模型,基于仿真测量数据生成导航路径,经过一阶数字低通滤波后实时控制车辆运动。仿真实验中,设置果树种植偏差为±20cm,树干直径偏差为±3cm,LiDAR测量误差为±3cm。实验结果表明,本文方法在车辆偏航、缺树、曲线树行等情况下均能准确提取导航路径,在偏航角不大于15°、横向偏差不大于1m、缺树率不大于25%时均能将车辆轨迹与道路中心线的横向偏差控制在±14cm内。     

复杂背景下果园视觉导航路径提取算法

为解决果园视觉导航机器人行间自主行进和调头问题,提出了基于Mask R-CNN的导航线提取方法和基于随机采样一致性(Random sample consensus, RANSAC)算法的树行线提取方法。首先,基于Mask R-CNN模型对道路与树干进行识别,提取道路分割掩码和树干边界框坐标;其次,在生成行间导航线的基础上,采用改进RANSAC算法提取前排树行线;然后,计算树干边界框坐标点到前排行线的距离,筛选后排树干坐标点,采用最小二乘法拟合生成后排树行线;最后,通过分析前后排树行信息判断调头方向,结合本文提出的行末端距离计算与调头路径规划方法,规划车辆的调头路线。实验结果表明：在不同光照、杂草、天气环境下的6种果园场景中,模型的平均分割精度和边界框检测精度都为97.0%,导航目标点提取的平均偏差不超过5.3%,树行线检测准确率不低于87%,调头后车辆距道路中心的平均偏差为7.8 cm,可为果园环境下的视觉自主导航提供有效参考。     

果园移动机器人曲线路径导航控制

为实现移动机器人在果园非结构化环境下的自动行走,对果园移动机器人在复杂环境中的导航控制进行了研究。利用激光扫描获取果树位置信息,提出了一种果园环境下曲线导航路径的拟合算法;构建了以横向偏差和航向偏差为输入的模糊控制器;实现了移动机器人在曲线路径中的自动行走。机器人以0.54 m/s的速度沿正弦曲线行走,最大横向偏差为0.40 m,平均偏差为0.12 m。试验结果表明该系统路径拟合和导航控制算法性能良好。     

基于图像处理的果树滴水线导航路径检测方法研究

针对果园开沟施肥,提出一种基于图像处理的果树滴水线导航路径检测方法。该方法采用垂直地面向上布置的CCD相机采集果树冠层投影图像,并实现果树冠层沿地面垂直投影轮廓的识别与滴水线平滑处理,进而对无人施肥装备沿果树环状行走路径进行确定。通过相机标定获取相机内部参数和畸变参数,对原始图像进行畸变矫正;通过对图像在RGB颜色空间的分布特征进行定量分析,使用平均值法对图像灰度处理,使用定阈值法进行二值分割;二值图像中由于存在大量的空间间隙,使用形态学膨胀操作,填充间隙,以凸显树冠投影边缘轮廓;使用边界跟踪算法,提取树冠轮廓边缘;引入Beseel曲线拟合方法,对轮廓边缘进行平滑处理,通过对比二阶、三阶、四阶、五阶拟合结果,得出使用三阶和四阶Beseel拟合结果较为符合导航路径要求。将相机固定在一个位置,分别在晴天和阴天拍摄条件下采集图像,进行滴水线导航路径提取,分别使用三阶和四阶Beseel曲线拟合晴天和阴天的图像边缘轮廓,使用四阶拟合结果较为符合实际要求,平均像素误差为19.5像素,平均像素相对误差为2.6%,平均每帧图像处理速度为27 ms,能较好地满足导航精度和实时性的要求,为施肥作业平台沿滴水线自动导航提供参考。     

果园移动机器人激光雷达双源信息融合实时导航方法

为提高林果园移动机器人导航系统的精确性与鲁棒性,提出一种基于激光雷达三维点云的果园行间高低频双源信息融合实时导航方法。首先,喷雾机器人搭载三维激光雷达采集两侧果树点云信息,对原始点云数据进行直通滤波、降采样和统计滤波等预处理,保留感兴趣区域内果树冠层点云;然后,将分别基于高频更新的牛顿插值算法和低频更新的非线性支持向量机(Non-linear support vector machine, NSVM)算法拟合的行间导航线进行互补融合;最后,在导航线切换时,对融合后导航线的稳定性进行优化,并使用三次B样条算法使导航线平滑。实验结果表明：融合优化后的导航线最大曲率为0.048 m^-1,平均曲率为0.018 m^-1;分别以0.5 m/s和1.0 m/s的行驶速度对融合优化后的导航线进行跟踪,绝对横向偏差最大值分别为0.104 m和0.130 m,平均值分别为0.053 m和0.049 m,说明该导航方法能够满足作业装备在果园行间自主导航作业的需求,为喷雾机器人在果园环境中的自主导航提供技术参考。     

基于改进RRT算法的猕猴桃采摘机器人全局路径规划

为提高猕猴桃采摘机器人导航效率,提出一种基于采样状态实时引导随机树扩展的改进方法(Straight-RRT)。首先,针对传统RRT算法盲目搜索的问题,引入评价指数与阈值划分采样状态,根据采样状态决定采样节点的选取方式,实时引导随机树的扩展。其次,为增强算法对不同环境的自适应性及快速避开不规则障碍物,引入动态阈值并优化最近节点选择机制。最后对路径进行优化处理,去除路径冗余点并采用贝塞尔曲线平滑路径减小路径复杂度。基于棚架式猕猴桃果园环境进行路径规划实验,实验结果表明改进后算法在猕猴桃果园环境中具有更好的适应性及规划效率,为提高猕猴桃采摘机器人导航效率提供了解决方法。     

基于改进RRT算法的猕猴桃采摘机器人全局路径规划

为提高猕猴桃采摘机器人导航效率,提出一种基于采样状态实时引导随机树扩展的改进方法（Straight-RRT）。首先,针对传统RRT算法盲目搜索的问题,引入评价指数与阈值划分采样状态,根据采样状态决定采样节点的选取方式,实时引导随机树的扩展。其次,为增强算法对不同环境的自适应性及快速避开不规则障碍物,引入动态阈值并优化最近节点选择机制。最后对路径进行优化处理,去除路径冗余点并采用贝塞尔曲线平滑路径减小路径复杂度。基于棚架式猕猴桃果园环境进行路径规划实验,实验结果表明改进后算法在猕猴桃果园环境中具有更好的适应性及规划效率,为提高猕猴桃采摘机器人导航效率提供了解决方法。     

基于激光雷达自导航的AGV系统设计

鉴于广泛应用的自动导航车大多是传统导航方法,本文基于思岚科技生产的RPLidar A2激光雷达对AGV平台车进行路径规划研究。采用基于ARM和linux操作系统的树莓派卡片式电脑作为核心控制器,实现激光配搭平面点云动态实时数据采集;并对采集到的数据进行阈值滤波以及导航特征点提取,基于采用最小二乘法直线路径拟合方法对特征点中点进行导航线的拟合,获取导航偏距及航偏角参数。最后,以导航偏距以及航偏角作为AGV小车的运动控制输入,采用比例微分PD算法对AGV平台车电机进行速度控制,实现对拟合路径的跟踪。实验结果表明,基于激光雷达的AGV能够实现自主路径规划与导航。     

基于GNSS与视觉融合的山地果园无人机航迹控制

为精准控制无人机航迹稳定、准确进行山地果园的航空植保作业,以四旋翼无人机为载体,设计了基于GNSS与视觉导航融合的山地果园无人机植保航迹控制系统。该系统由无人机飞行平台和地面控制站两部分组成。其中,无人机平台由四旋翼无人机、内环飞控、GNSS移动站、RGB相机、无线视频发射模块和电子罗盘组成;控制站由GNSS基站、飞行控制模块、便携式计算机、无线视频接收模块和视频采集模块组成。基于Python语言,结合Open CV库,设计了果树行识别算法。采用线性组合算法提取目标行作业区域,利用最小二乘法对作业区域中心点进行拟合,得到果树行趋势线,进而计算出偏航角,以实现无人机作业航迹控制。山地苹果园的导航控制试验结果表明,当无人机飞行速度为2 m/s,距离果树冠层高度约2 m,相机倾角为46°,视觉导航控制率为2次/s时,该系统航迹控制误差范围为-47～42 cm,平均误差为-9 cm,系统控制精度较高,可满足无人机对山地果园植保作业的要求。     

基于大数据监测的植保无人机动作决策研究

为了实现山区果树喷洒农药自动化,基于大数据监测,采用卫星导航与图像识别技术,完成了植保机动作动作决策,实现了快速转场与喷药精确飞行。采用GNSS卫星导航技术,设定山区果园喷药开始位置及其航迹点,实现快速转场。利用图像识别处理技术,基于过绿灰度化方法,建立图像灰度计算式,采用大津法实现图像分割;对图像进行中值滤波和膨胀腐蚀填充方法,清晰树冠边界;提取树冠边界点坐标,采用二次多项式拟合,计算航迹线及航向角,并建立卫星导航与图像识别导航转换规则。测试结果表明:植保机航迹与测试点吻合,最大误差为0.45m。     

果园自主导航兼自动对靶喷雾机器人

为同时实现果园智能植保机自主导航及自动对靶喷雾,研制了一种果园自主导航兼自动对靶喷雾机器人。首先采用单个3D LiDAR（Light Detection and Ranging）采集果树信息确定兴趣区（Region of Interest,ROI）,对ROI内点云进行2D化处理得到果树质心坐标,通过随机一致性（Random Sample Consensus,RANSAC）算法得到果树行线,并确定果树行中间线（导航线）,进而控制机器人沿导航线行驶。通过编码器及惯性测量单元（Inertial Measurement Unit,IMU）确定机体速度及位置,IMU矫正采集到的果树分区冠层信息,最后通过程序判断分区冠层的有无控制喷头是否喷雾。结果表明,机器人自主导航时最大横向定位偏差为21.8 cm,最大航向偏角为4.02°,相比于传统连续喷雾机施药液量、空中漂移量及地面流失量分别减少20.06%、38.68%及51.40%。本研究通过单个3D LiDAR、编码器及IMU在保证喷雾效果的前提下,实现了喷雾机器人自主导航及自动对靶喷雾,降低了农药使用量及飘失量。     

复杂环境中苹果树识别与导航线提取方法

为精准化管理果园,针对存在裸露土壤、遮蔽物、果树冠层阴影和杂草等复杂环境下难以提取导航线问题,通过无人机搭载多光谱相机获取苹果园影像数据后提取果树像元并进行全局果树行导航线提取。通过处理多光谱影像数据得到正射影像图(DOM)、数字表面模型(DSM)图像,选取并计算易于区分杂草与苹果树的归一化差异绿度指数（NDGI）、比值植被指数（RVI）分布图,构建DSM、NDGI、RVI融合图像后,综合利用过绿植被(EXG)指数和归一化差异冠层阴影指数（NDCSI）以阈值分割法剔除融合图像中土壤、遮蔽物、阴影等像元,降低非植被像元对果树提取的干扰。对比使用支持向量机（SVM）法、随机森林（RF）法和最大似然（MLC）法分别提取最终融合图像和普通正射影像中的苹果树像元,并计算混淆矩阵评价各识别精度。试验表明,MLC法对融合图像中果树的识别效果最优,其用户精度、制图精度、总体分类精度、Kappa系数分别为88.57%、93.93%、93.00%、0.8824;相对于普通正射影像,本文构建的最终融合图像使3种方法的识别精度均得到有效提升。其中,融合图像对RF法的用户精度提升幅度最大,为27.12个百分点;对SVM法的制图精度提升幅度最大,为9.03个百分点;对3种方法的总体分类精度提升幅度最低为13个百分点;对SVM法的Kappa系数提升幅度最大,为22.55%,且对其余两种方法的提升也均在20%以上。将本文得到的苹果树像元提取结果图像做降噪、二值化、形态学转换等处理后,以感兴趣区域划分法提取各果树行特征点,并以最小二乘法拟合各行特征点得到导航线,其平均角度偏差为0.5975°,10次测试整体平均用时为0.4023s。所提方法为复杂环境中果树像元和果树行导航线提取提供了重要依据。     

基于VINS-MONO和改进YOLO v4-Tiny的果园自主寻筐方法

面向果园运输车果品采收自主运输作业场景，提出了一种基于VINS-MONO和改进YOLO v4-Tiny的果园自主寻筐方法。首先基于VINS-MONO视觉惯性里程计算法，进行果园运输车位置姿态的实时估计。然后基于改进YOLO v4-Tiny目标检测算法，根据图像数据进行果筐实时目标检测并获取对应深度信息。其次根据运输车当前位置姿态、果筐深度信息以及深度相机内参，进行被识别果筐位置更新。最后基于三次B样条曲线拟合原理，以被识别果筐位置为控制点，进行寻筐路径实时拟合，为果园运输车抵近果筐提供路线引导。试验结果表明：改进YOLO v4-Tiny果筐识别模型的平均识别精度为93.96%,平均推理时间为14.7 ms, 4 m内的果筐距离定位误差小于4.02%,果筐角度定位误差小于3°,果园运输车实测平均行驶速度为3.3 km/h,果筐搜寻路线平均更新时间为0.092 s,能够在果树行间和果园道路两种作业环境下稳定实现自主寻筐。该方法能够为果园运输车提供自主寻筐路径引导，为其视觉导航提供研究参考。     

基于U-Net网络的果园视觉导航路径识别方法

针对视觉导航系统在果园环境中面临的图像背景复杂、干扰因素多等问题,提出了一种基于U-Net网络的果园视觉导航路径识别方法。使用Labelme对采集图像中的道路信息进行标注,制作果园数据集;基于U-Net语义分割算法在数据增强的基础上对全卷积神经网络进行训练,得到道路分割模型;根据生成的道路分割掩码进行导航信息提取,生成路径拟合中点;基于样条曲线拟合原理对拟合中点进行多段三次B样条曲线拟合,完成导航路径的识别;最后进行了实验验证。结果表明,临界阈值为0.4时,语义分割模型在弱光、普通光以及强光照条件下的分割交并比分别为89.52%、86.45%、86.16%,能够平稳实现果园道路像素级分割;边缘信息提取与路径识别方法可适应不同视角下的道路掩码形状,得到较为平顺的导航路径;在不同光照和视角条件下,平均像素误差为9.5像素,平均距离误差为0.044 m,已知所在果园道路宽度约为3.1 m,平均距离误差占比为1.4%;果园履带底盘正常行驶速度一般在0～1.4 m/s之间,单幅图像平均处理时间为0.154 s。在当前果园环境和硬件配置下,本研究可为视觉导航任务提供有效参考。     

基于改进Gmapping算法的果园二维环境地图精准构建

果树树冠的季节性变化及果树成长和衰老造成的果树特征变化会影响已构建的果园三维环境地图的匹配，故本文提出一种基于改进Gmapping算法的果园二维环境地图精准构建算法。首先该算法对Gmapping算法的前端里程计和后端优化部分分别进行改进，以提高果园二维环境地图的构建精度。对于前端里程计部分采用改进的R-GPF地面分割方法提高其初始定位精度，对于后端优化部分采用BAT启发式自适应重采样方法提高其最终定位精度。然后进行梨园环境对比试验。通过改进R-GPF方法与原始R-GPF方法的对比，改进R-GPF方法的激光雷达里程计输出频率可达到15.58Hz，最大横向偏差小于25cm，横向偏差均值为12.7cm，标准差为 13.4cm，其各方面性能都优于原R-GPF方法的激光雷达里程计。通过新算法与基于原R-GPF的Gmapping算法对比，新算法所得的梨树列间距离偏差始终保持在20cm范围内，行间距离偏差均值为10.3cm，标准差为6.3cm，比基于原R-GPF的Gmapping算法分别减小50%、43.41%和32.26%；同时，梨树行间距离偏差相对于里程计横向偏差的减小侧面反映出后端BAT启发式自适应重采样方法的有效性。本文提出的算法能够提高果园二维地图构建精度，可以满足后续重定位、导航等作业的精度要求。