基于机器视觉的果园导航中线提取算法研究

为实现果园作业自动化,对基于机器视觉的果园自然情况下的导航路径拟合方法进行了研究。针对果园环境特点,基于HSV色彩模型和最大类间方差法对果园果树树行特征进行了增强。同时,使用Hough变换对果树树行线进行了拟合,并最终获得了相邻两树行的中线作为导航路径。最终试验结果表明:该方法能有效克服行间生草、光照阴影和修剪枯枝的干扰,可提取果园果树树行线并拟合出果园导航中线。     

果园视觉导航基准线生成算法

针对果园导航环境的复杂性,提出了一种基于图像处理的果园导航基准线生成算法。采用二维Otsu算法获取最优分割阈值,对色差R-B分量图进行二值化处理;根据水平投影曲线的一阶导数变化规律,提取树的主干区域(ROI);根据区域中邻近像素灰度值的变化规律,提取主干与地面的交点作为特征点;根据点的分布特性对其进行归类,并利用最小二乘法拟合左右边界线,提取边界线上各行中心点生成果园导航基准线。在不同场景中的实验结果表明,该算法对噪声的干扰有较强的鲁棒性,使导航基准线的生成准确率高于90.7%;处理一幅640×480像素的图像平均耗时小于119 ms,具有较好的实时性。     

基于U-Net网络的果园视觉导航路径识别方法

针对视觉导航系统在果园环境中面临的图像背景复杂、干扰因素多等问题,提出了一种基于U-Net网络的果园视觉导航路径识别方法。使用Labelme对采集图像中的道路信息进行标注,制作果园数据集;基于U-Net语义分割算法在数据增强的基础上对全卷积神经网络进行训练,得到道路分割模型;根据生成的道路分割掩码进行导航信息提取,生成路径拟合中点;基于样条曲线拟合原理对拟合中点进行多段三次B样条曲线拟合,完成导航路径的识别;最后进行了实验验证。结果表明,临界阈值为0.4时,语义分割模型在弱光、普通光以及强光照条件下的分割交并比分别为89.52%、86.45%、86.16%,能够平稳实现果园道路像素级分割;边缘信息提取与路径识别方法可适应不同视角下的道路掩码形状,得到较为平顺的导航路径;在不同光照和视角条件下,平均像素误差为9.5像素,平均距离误差为0.044 m,已知所在果园道路宽度约为3.1 m,平均距离误差占比为1.4%;果园履带底盘正常行驶速度一般在0～1.4 m/s之间,单幅图像平均处理时间为0.154 s。在当前果园环境和硬件配置下,本研究可为视觉导航任务提供有效参考。     

基于激光雷达的果园行间路径提取与导航

针对车辆果园行间自主导航出现的车辆偏航、非相邻树行干扰、植株缺失、树行弯曲等问题,提出一种基于激光雷达的行间路径提取方法,构建多样化虚拟果园环境仿真行间路径导航过程,评估路径提取算法性能。行间路径提取时,采用二维激光雷达（Light detection and ranging,LiDAR）获取果园树干测量数据,通过中值滤波削弱测量噪声,设计椭圆感兴趣区域（Region of interest,ROI）提取相邻树行,提出两步树行分割法获取相邻树行数据,通过最小二乘法拟合树行直线,将树行中心线作为导航路径。行间导航仿真时,建立虚拟果园环境和LiDAR测量模型,基于仿真测量数据生成导航路径,经过一阶数字低通滤波后实时控制车辆运动。仿真实验中,设置果树种植偏差为±20cm,树干直径偏差为±3cm,LiDAR测量误差为±3cm。实验结果表明,本文方法在车辆偏航、缺树、曲线树行等情况下均能准确提取导航路径,在偏航角不大于15°、横向偏差不大于1m、缺树率不大于25%时均能将车辆轨迹与道路中心线的横向偏差控制在±14cm内。     

复杂环境下果园机器人路径规划方法研究

果园机器人在复杂环境中的工作效率的高低主要是由机器人的路径规划决定的,基本人工势场算法存在的问题很多,比如死锁现象、运行时间长等等.基于此提出一种新的算法,对基本人工势场算法进行改进.首先是重构识别路径,引人障碍物检测算法,可以识别出有效障碍物,同时还计算出有效的路径中间点;然后进行优化斥力作用,引入障碍物有关的边界条...     

果园移动机器人曲线路径导航控制

为实现移动机器人在果园非结构化环境下的自动行走,对果园移动机器人在复杂环境中的导航控制进行了研究。利用激光扫描获取果树位置信息,提出了一种果园环境下曲线导航路径的拟合算法;构建了以横向偏差和航向偏差为输入的模糊控制器;实现了移动机器人在曲线路径中的自动行走。机器人以0.54 m/s的速度沿正弦曲线行走,最大横向偏差为0.40 m,平均偏差为0.12 m。试验结果表明该系统路径拟合和导航控制算法性能良好。     

复杂环境中苹果树识别与导航线提取方法

为精准化管理果园,针对存在裸露土壤、遮蔽物、果树冠层阴影和杂草等复杂环境下难以提取导航线问题,通过无人机搭载多光谱相机获取苹果园影像数据后提取果树像元并进行全局果树行导航线提取。通过处理多光谱影像数据得到正射影像图(DOM)、数字表面模型(DSM)图像,选取并计算易于区分杂草与苹果树的归一化差异绿度指数（NDGI）、比值植被指数（RVI）分布图,构建DSM、NDGI、RVI融合图像后,综合利用过绿植被(EXG)指数和归一化差异冠层阴影指数（NDCSI）以阈值分割法剔除融合图像中土壤、遮蔽物、阴影等像元,降低非植被像元对果树提取的干扰。对比使用支持向量机（SVM）法、随机森林（RF）法和最大似然（MLC）法分别提取最终融合图像和普通正射影像中的苹果树像元,并计算混淆矩阵评价各识别精度。试验表明,MLC法对融合图像中果树的识别效果最优,其用户精度、制图精度、总体分类精度、Kappa系数分别为88.57%、93.93%、93.00%、0.8824;相对于普通正射影像,本文构建的最终融合图像使3种方法的识别精度均得到有效提升。其中,融合图像对RF法的用户精度提升幅度最大,为27.12个百分点;对SVM法的制图精度提升幅度最大,为9.03个百分点;对3种方法的总体分类精度提升幅度最低为13个百分点;对SVM法的Kappa系数提升幅度最大,为22.55%,且对其余两种方法的提升也均在20%以上。将本文得到的苹果树像元提取结果图像做降噪、二值化、形态学转换等处理后,以感兴趣区域划分法提取各果树行特征点,并以最小二乘法拟合各行特征点得到导航线,其平均角度偏差为0.5975°,10次测试整体平均用时为0.4023s。所提方法为复杂环境中果树像元和果树行导航线提取提供了重要依据。     

基于改进动态规划算法的果园移动机器人路径规划

首先,根据果园移动机器人自身运行特性和果园环境,建立了环境模型;然后,阐述了改进动态规划算法原理;最后,基于改进动态规划算法实现了果园移动机器人的动态路径规划和避障。仿真实验表明：果园移动机器人顺利实现了从起点到终点的无碰撞移动作业,且行走路径最短、转弯数最少,表明算法系统在复杂的动态环境下仍能实现路径规划功能。     

基于RANSAC算法的植保机器人导航路径检测

为实现植保机器人精准自主导航和提高路径检测的精度、可靠性,提出一种基于RANSAC算法的视觉导航路径检测方法。首先,采用超绿灰度化法和最大类间方差法进行图像分割;继而结合形态学操作与动态面积阈值滤波算法滤除干扰;最后,在垄行的边缘中,根据均值法提取特征点,采用RANSAC算法剔除离群点后由最小二乘法进行直线拟合,以提高导航路径的检测精度。实验表明,与Hough变换相比,本文垄行中心线检测方法具有更高的检测精度,导航路径的检测率可达93.8%,比未使用RANSAC算法提高了18.8个百分点。     

基于辅助线的农机视觉导航路径提取算法研究

针对不同场景下的农机视觉导航路径提取方法适用性、抗干扰性差的问题,提出一种基于辅助线的农机视觉导航路径提取算法。首先,对均衡化处理后的农田图像采用1.8G-R-0.8B颜色模型进行灰度化,得到目标与背景区分明显的图像;其次,使用OTSU法阈值分割,对二值图像进行先开后闭运算的形态学处理方法去除图像噪声;最后,根据垂直投影法进行相应的辅助线处理,并结合改进的ROI方法提取感兴趣区域,确定导航定位点,进而最小二乘法将定位点拟合得到导航路径。仿真试验结果及对比表明：本文算法提取路径的欧式距离为1 001.9,路径提取精度相对于传统Hough方法提高47.9%,且对高分辨率图像提取时间缩短79.6%,满足农机具导航路径提取的要求的同时且具有更高的普适性。     

果园移动机器人激光雷达双源信息融合实时导航方法

为提高林果园移动机器人导航系统的精确性与鲁棒性,提出一种基于激光雷达三维点云的果园行间高低频双源信息融合实时导航方法。首先,喷雾机器人搭载三维激光雷达采集两侧果树点云信息,对原始点云数据进行直通滤波、降采样和统计滤波等预处理,保留感兴趣区域内果树冠层点云;然后,将分别基于高频更新的牛顿插值算法和低频更新的非线性支持向量机(Non-linear support vector machine, NSVM)算法拟合的行间导航线进行互补融合;最后,在导航线切换时,对融合后导航线的稳定性进行优化,并使用三次B样条算法使导航线平滑。实验结果表明：融合优化后的导航线最大曲率为0.048 m^-1,平均曲率为0.018 m^-1;分别以0.5 m/s和1.0 m/s的行驶速度对融合优化后的导航线进行跟踪,绝对横向偏差最大值分别为0.104 m和0.130 m,平均值分别为0.053 m和0.049 m,说明该导航方法能够满足作业装备在果园行间自主导航作业的需求,为喷雾机器人在果园环境中的自主导航提供技术参考。     

基于改进DeepLabv3+的火龙果园视觉导航路径识别方法

针对视觉导航系统应用在火龙果园环境中面临干扰因素多、图像背景复杂、复杂模型难以部署等问题,本文提出了一种基于改进DeepLabv3+网络的火龙果园视觉导航路径识别方法。首先,采用MobileNetV2取代传统DeepLabv3+的主干特征提取网络Xception,并将空间金字塔池化模块(Atrous spatial pyramid pooling, ASPP)中的空洞卷积替换成深度可分离卷积(Depthwise separable convolution,DSC),在提升模型检测速率的同时大幅减少了模型的参数量和内存占用量;其次,在特征提取模块处引入坐标注意力机制(Coordinate attention,CA),增强了模型的特征提取能力;最后,通过设计的导航路径提取算法对网络模型分割出的道路掩码区域拟合出导航路径。实验结果表明：改进后的DeepLabv3+的平均交并比和平均像素准确率分别达到95.80%和97.86%,相较原模型分别提升0.79、0.41个百分点。同时,模型内存占用量只有15.0MB,和原模型相比降低97.00%,与Pspnet和U-net模型相比则分别降低91.57%、 91.02%。另外,导航路径识别精度测试结果表明平均像素误差为22像素、平均距离误差7.58cm。已知所在果园道路宽度为3m,平均距离误差占比为2.53%。因此,本文研究方法可为解决火龙果园视觉导航任务提供有效参考。     

水稻收获作业视觉导航路径提取方法

针对水稻收获视觉导航中的路径规划问题,提出一种水稻收获作业视觉导航路径提取方法。通过相机标定获取畸变参数矫正原始图像,并进行高斯滤波,采用基于2R-G-B超红特征模型的综合阈值法进行图像二值化分割,并对二值图像进行形态学的开-闭运算,抑制噪声干扰,根据图像灰度垂直投影值动态设定感兴趣区域,水平扫描获取作物线拟合关键点,最后采用多段三次B样条曲线拟合法提取水稻待收获区域边界线。室内试验表明,采用本文所提出的图像处理方法提取的图像中距离信息平均误差为9. 9 mm、偏差率为2. 0%,角度信息平均误差为0. 77°、误差率2. 7%。在顺光、逆光、强光、弱光4种光线环境下,对中粳798和临稻20两种作物进行了收获路径提取田间试验,以像素误差、距离误差、相对误差和标准差为评价指标,对比了不同光线下的路径提取结果,试验结果表明,对于中粳798的收获图像,4种光线环境下15个关键点的平均像素误差为28. 7像素,平均距离误差39. 7 mm,平均相对误差2. 7%;强光环境平均像素误差最小,为26. 2像素;弱光环境平均距离误差最小,为23. 9 mm;强光环境平均相对误差最小,为2. 0%;顺光环境稳定性最好,标准差为6. 8像素。对于临稻20的收获图像,4种光线环境下15个关键点的平均像素误差36. 5像素,平均距离误差45. 0 mm,平均相对误差2. 8%,在逆光环境下的平均像素误差、平均距离误差和平均相对误差均最小,分别为29. 5像素、36. 9 mm和2. 3%,稳定性也最好,标准差为10. 8像素。单帧图像平均处理时间38 ms。本研究可为田间作物线检测和收获作业的自动导航提供参考。     

基于图像边界提取的果园作业机器人自主导航系统

针对果园中农业移动机器人的自主导航问题,提出了一种基于图像边界提取的自主导航系统。首先,通过摄像机采集果园场景图像,并利用均值偏移算法对图像中的像素点进行聚类;然后,采用基于图论的图像分割算法,根据预定义类别对图像进行分割;接着,提取出所需类的图像区域,并利用Canny算子对该区域图像的边缘进行检测和滤波;最后,利用Hough变换提取出该区域的边界线,从而获得机器人的行进路线。实验结果表明:该方案在不需要先验知识的情况下,能够快速、有效地获得最优路径。     

基于深度学习和高斯过程回归的玉米冠下视觉导航路径提取方法

面对田间作业过程中大型机器机动性差及复杂场景下导航路径拟合精度差的问题,提出一种基于深度学习和高斯过程回归的玉米冠层下导航路径提取方法。首先,基于四足机器人采集玉米冠下作物行图像,对Mask R-CNN实例分割方法进行改进,在特征融合网络引入简化路径增强特征金字塔网络(Simple path aggregation network, Simple-PAN),通过增加自底向上的路径增强模块和特征融合操作模块,提高图像上下文特征的融合能力。其次,以模型识别的冠下作物行目标为基础构建两侧区域分界线,计算可通行区域两侧下垂叶片的分布情况,优化基于加权平均的导航路径算法。对高斯过程回归(Gaussian process regression, GPR)算法进行改进,添加DotProduct线性核对曲线拟合进行优化,优化GPR方法的直线拟合效果。最后,在验证集上进行导航路径识别,计算不同方法拟合导航路径的平均偏差。试验结果表明,该算法能够适应玉米田中叶片遮挡根茎的情况,优化的Mask R-CNN模型具备更高的冠下目标分割精度,基于改进GPR算法拟合的导航线平均偏差为0.7像素,处理一帧分辨率为1280像素×720像素的图像平均耗时为227ms,该算法能提供在玉米冠层下具备一定避障能力的导航路径,满足导航实时性和准确性的要求。结果可为田间智能农业装备的导航算法研究提供技术与理论支撑。