基于最小二乘法的温室番茄垄间视觉导航路径检测

针对温室非结构作业环境和复杂背景下作业机器人路径识别检测问题开展研究。在HSI颜色空间分析番茄垄间道路图像在各分量的分布特性,提出了基于机器视觉的垄间加热管敏感区域提取方法,依据I分量直方图采用最大类间方差法进行图像自适应阈值分割,对分割后二值图像利用目标区域的边缘提取算法获得导航离散点簇。根据最小二乘法原理对导航离散点簇拟合得到2条加热管边缘线,在此基础上给出中心导航基准线检测算法,并针对光照不均和作物遮挡对导航路径检测进行了实验。实验表明,与Hough变换算法相比,该算法简单快速,对光照不均具有良好的鲁棒性,能够准确提取目标敏感区域的边缘信息,对不同遮盖率番茄垄间导航路径提取正确率达91.67%。     

基于多目视觉的田间导航线提取方法

【目的】目前导航线提取算法适用范围窄,且图像获取范围没有统一标准,直接应用到导航设备上会产生较大误差。【方法】课题组提出了一种基于多目视觉的田间导航线提取方法。首先,获取四个摄像头拍摄的不同视觉范围的田间图像,通过归一化超绿特征、最大类间方差法（Otsu）和形态学操作获取二值图,提取背景像素中点作为导航特征点;其次,通过神经网络算法建立坐标系转换模型,将导航特征点映射到同一地面坐标系,并对导航特征点进行融合;最后,由最小二乘法拟合导航线。此外,课题组利用该方法进行了5组田间实验,并对比了实验结果。【结果】在同一地面坐标系下,拟合后的导航线精度普遍高于单条导航线。【结论】该算法为农机设备自主导航提供了理论基础,为降低山区农业机器人自主导航误差提供了思路,对农机设备的自主导航具有重要意义。     

基于标记分水岭算法的插秧机器人导航路径检测

针对插秧机器人机器视觉导航路径检测鲁棒性差、受杂草和翻土影响严重的问题,提出一种基于标记分水岭算法的视觉导航路径检测方法。首先,采用灰度化处理、直方图均衡化和中值滤波对目标秧苗列和目标田埂进行预处理;然后,利用标记分水岭算法对识别目标进行图像分割,并通过均值法采集导航路径特征点集;最后,使用最小二乘法将特征点拟合成导航路径。试验结果表明,相比传统分水岭法和区域生长法,本文的导航路径检测方法具有最好的识别效果,在秧苗列和田埂上的检测精度分别达到93.4%和96.6%。     

基于RANSAC算法的植保机器人导航路径检测

为实现植保机器人精准自主导航和提高路径检测的精度、可靠性,提出一种基于RANSAC算法的视觉导航路径检测方法。首先,采用超绿灰度化法和最大类间方差法进行图像分割;继而结合形态学操作与动态面积阈值滤波算法滤除干扰;最后,在垄行的边缘中,根据均值法提取特征点,采用RANSAC算法剔除离群点后由最小二乘法进行直线拟合,以提高导航路径的检测精度。实验表明,与Hough变换相比,本文垄行中心线检测方法具有更高的检测精度,导航路径的检测率可达93.8%,比未使用RANSAC算法提高了18.8个百分点。     

棉花铺膜播种作业拖拉机的视觉导航路径检测

针对棉花铺膜播种作业环境复杂,视觉导航路径检测易受光照强度、噪声及划线深度的影响,设计了一种抗干扰能力强、适应性广的视觉导航路径检测算法。构建图像采集系统,实时采集铺膜播种作业图像,基于Y=0.299R+0.587G+0.114B颜色模型对图像进行灰度化处理。针对第1帧图像,首先在浮动扫描区间[M_1-k,M_2-k](M_1取560,M_2取639;k=0,k≤560,k++)从第0行开始逐行扫描像素点,提取每行灰度值最小的像素点(或灰度值最小的像素点的列坐标的平均值)作为各行路径提取的候补点,并计算每个扫描区间内的候补点列值的方差F_k;寻求F_k值最小的区间作为第1帧图像的目标区间;在目标区间内使用最小二乘法拟合候补点集群提取初始导航路径;然后,以初始导航路径为中心,左右各扩展U个像素作为扫描区间,提取每行灰度值最小的像素点(或灰度值最小的像素点的列坐标的平均值)作为各行路径提取的候补点;最后,使用最小二乘法拟合导航路径,完成第1帧图像导航路径的提取。从第2帧图像开始,首先确定以前1帧图像导航路径作为当前帧图像扫描区间的中心,左右各扩展U个像素作为扫描区间;然后,从第0行像素开始逐行扫描,并提取灰度值最小的像素点(或灰度值最小的像素点的列坐标的平均值)作为路径提取的候补点,并使用"差异权重法"平滑候补点群;最后,基于最小二乘法拟合导航路径。采集6种工况下铺膜作业视频进行验证试验,结果表明:导航路径检测准确率为100%,平均处理速度为7.020ms/帧,能够稳定、快速地检测导航路径,准确率高,适应性广,抗干扰能力较强,满足棉花铺膜播种作业的实际要求。该检测算法丰富了基于视觉的拖拉机行走路径检测的方法,为实现拖拉机自动驾驶奠定了理论基础。     

基于机器视觉的农田机械导航线提取算法研究

随着科学技术的发展,精细农业已成为现代农业发展的主导方向。农业机械的自动导航技术是精细农业的关键技术之一,也是实施精准农业的基础。机器视觉由于其广泛实用性,已成为农田机械导航线提取的重要方法。目前,机器视觉自动导航线提取易受自然环境干扰,且在实时处理速度上有待提高。为此,研究了一种导航线提取算法,旨在简化图像处理,提高通用性。首先对CCD获取的彩色农田图像,使用改进的过绿色算法进行灰度化,得到目标区分较好的图像;然后使用改进的OTSU算法对图像进行分割,得到二值图像,再采用滤波、腐蚀、膨胀相结合的算法去除图像噪声;最后提取作物行骨架,拟合作物行直线并进行方向校正,计算相机偏差,为实时校正航向提供反馈信息。试验结果表明,该算法处理一幅图像所用时间在200ms左右,可满足农田机械实时导航的要求。     

农田视觉导航基准线的识别与提取方法研究

提出了一种基于农田图像处理的视觉导航基准线的提取方法。该方法首先使用加权平均法(2G-RB)对原图像进行灰度化处理;采用改进最大化类间方差分割灰度图像;再用小面积法去噪;识别去噪后的图像的中心点,确定导航中心点位置。基于中心点的分布规律,将图像中识别出的中心点进行筛选,得到有效的导航基准中心点,使用改进霍夫变换与最小二乘法相结合的方法提取导航基准线。本文方法能够准确地识别和提取导航基准线,实验证明了该方法的有效性和实时性。     

自然光照下基于粒子群算法的农业机械导航路径识别

针对农业机械视觉导航线提取易受光照变化影响及常规导航线识别算法实时性低、抗干扰能力差等问题,对自然光照条件下基于机器视觉的农业机械导航路径识别技术进行了研究。首先,在YCr Cb颜色模型的基础上构建与光照无关的Cg分量,选择2Cg-Cr-Cb特征因子对图像进行灰度化处理,以降低光照变化对图像分割的影响;然后,采用改进K-means聚类方法进行图像分割,将绿色作物信息从土壤背景中分离出来,并通过形态学滤波方法滤除二值图像中存在的杂草干扰信息;最后,根据图像中作物行的特点建立作物行直线方程约束模型,利用粒子群算法对作物行直线进行寻优求解,进而得到导航线。实验结果表明,不同光照条件下对2Cg-Cr-Cb灰度图像进行图像分割,可以清晰完整地将作物从土壤背景中分离出来,分割图像受光照变化影响较小并且不会引入背景噪声;基于粒子群算法的导航线检测方法可以快速准确地提取出导航路径,对于不同农田作物和作物不同生长阶段具有较高的适应性,相比于常规导航线识别算法具有实时性高、鲁棒性好等优点。     

基于图像旋转投影的导航路径检测算

提出一种农业车辆视觉导航路径识别算法--旋转投影算法.该算法通过角度枚举对图像ROI实施旋转变换,由旋转后图像的列均值与枚举角度构成旋转投影矩阵R,对其行向量实施差分运算得到差分旋转投影矩阵Rd,由Rd的极值可确定图像导航路径,即航向偏差θ与航位偏差d,进而可以求得世界坐标系下的导航路径参数.同理可以对田头线进行检测.为了提高算法的实时性,提出设定合理的ROI、实施线性压缩、旋转角度先粗分再细分的二步法以及充分利用前帧信息4种处理方法,使处理一帧用时6.2ms左右.通过对不同条件下成熟小麦图像测试表明,该算法识别导航路径准确率达到95%.     

基于机器视觉的玉米根茎导航基准线提取方法

提出一种在大田环境下快速、精确提取中晚期玉米行中心线作为农业机器人导航基准线的新方法。改进了传统的2G-R-B算法,实时地获取植株绿色特征。根据玉米垂直投影图生成根茎轮廓特点并采用峰值点检测算法生成玉米根茎候补定位点,再对候补定位点进行二次判别,提取玉米根茎定位点。利用最小二乘法对已知特征点进行拟合,得到作物行线。求取左右行斜率后,计算出实际需要的导航基准线。实验结果表明,与其它算法相比,处理一幅700像素×350像素的彩色图像平均耗时小于185 ms,实时性好。在多种环境下生成的导航基准线准确率在90%以上,有较强的鲁棒性,为农业自动导引车(Automated guided vehicle,AGV)在中后期玉米大田中的自主行走提供了一种可靠的导航方法。     

基于U-Net网络的果园视觉导航路径识别方法

针对视觉导航系统在果园环境中面临的图像背景复杂、干扰因素多等问题,提出了一种基于U-Net网络的果园视觉导航路径识别方法。使用Labelme对采集图像中的道路信息进行标注,制作果园数据集;基于U-Net语义分割算法在数据增强的基础上对全卷积神经网络进行训练,得到道路分割模型;根据生成的道路分割掩码进行导航信息提取,生成路径拟合中点;基于样条曲线拟合原理对拟合中点进行多段三次B样条曲线拟合,完成导航路径的识别;最后进行了实验验证。结果表明,临界阈值为0.4时,语义分割模型在弱光、普通光以及强光照条件下的分割交并比分别为89.52%、86.45%、86.16%,能够平稳实现果园道路像素级分割;边缘信息提取与路径识别方法可适应不同视角下的道路掩码形状,得到较为平顺的导航路径;在不同光照和视角条件下,平均像素误差为9.5像素,平均距离误差为0.044 m,已知所在果园道路宽度约为3.1 m,平均距离误差占比为1.4%;果园履带底盘正常行驶速度一般在0～1.4 m/s之间,单幅图像平均处理时间为0.154 s。在当前果园环境和硬件配置下,本研究可为视觉导航任务提供有效参考。     

基于图像分割映射的农业机器人视觉去雾方法

视觉导航农业机器人在雾天作业容易受前端含雾图像的影响,严重时无法有效工作。提出了一种基于图像分割映射的农业机器人视觉去雾方法。对前端采集图像进行近景与远景区域分割,并通过亮度信息的分段映射获取大气散射函数的预测估计值;采用导向滤波对大气散射函数的估计值进行优化,进一步增强图像的边缘信息,改善大面积天空背景引起的去雾残留问题。基于实际的农业智能导航平台对实测的含雾前端图像进行了去雾分析,并同传统的去雾方法进行了综合比较,显示所提方法具有较高的去雾精度和实时性。两段视频的图像去雾综合指标分别改善了28.9%和29.1%,时间消耗分别减少了34.4%和53.9%。     

采摘机器人视觉伺服策略研究——基于回归数据挖掘的

为了实现采摘机器人的准确抓取控制、路径识别和自主导航功能,提出了一种基于回归数据挖掘计算模型的机器人视觉伺服控制系统。首先利用双目相机获取果实图像,然后利用拉普拉斯变换和高斯滤波方法对图片进行平滑和增强处理,并利用Canny算法对图像边缘进行检测和分割处理,完成图像的预处理。对图像进行目标识别,提取图像的特征,并采用回归数据挖掘方法对滤波图像进行检验,最终通过计算得到果实图像的中心位置,将中心位置利用控制器反馈给控制中心,控制中心发出指令,控制末端执行器完成果实的采摘作业。对机器人视觉伺服系统进行了测试,结果表明:利用采摘机器人视觉伺服系统可以准确地计算果实的中心位置,实测位置和计算位置的吻合程度较高,视觉伺服系统的计算的稳定性较好。     

基于改进遗传算法的农机具视觉导航线检测

针对机器视觉导航系统现有导航线提取算法检测速度慢、抗干扰性差等不足,提出一种基于改进遗传算法(IGA)的导航线检测方法。图像中作物行走向近似为一条直线,从图像顶边和底边分别随机选一个点进行染色体编码,通过遗传进化选择适应度最高的个体作为作物行直线编码,进而得到导航线。改进遗传算法采用概率保留法和最优保存策略相结合的方法作为选择算子,提高了算法的搜索效率和精度;通过自适应调整交叉概率和变异概率,提高了算法的收敛速度和全局搜索能力。动态导航跟踪试验表明,改进的遗传算法与标准霍夫变换、标准遗传算法(GA)在导航线提取性能上相比,具有抗干扰性强、检测速度快等优点。当导航速度为0.6m/s时,横向偏差最大值不超过76 mm,平均值小于33.1 mm,较好地满足了导航作业要求。     

基于图像处理的果树滴水线导航路径检测方法研究

针对果园开沟施肥,提出一种基于图像处理的果树滴水线导航路径检测方法。该方法采用垂直地面向上布置的CCD相机采集果树冠层投影图像,并实现果树冠层沿地面垂直投影轮廓的识别与滴水线平滑处理,进而对无人施肥装备沿果树环状行走路径进行确定。通过相机标定获取相机内部参数和畸变参数,对原始图像进行畸变矫正;通过对图像在RGB颜色空间的分布特征进行定量分析,使用平均值法对图像灰度处理,使用定阈值法进行二值分割;二值图像中由于存在大量的空间间隙,使用形态学膨胀操作,填充间隙,以凸显树冠投影边缘轮廓;使用边界跟踪算法,提取树冠轮廓边缘;引入Beseel曲线拟合方法,对轮廓边缘进行平滑处理,通过对比二阶、三阶、四阶、五阶拟合结果,得出使用三阶和四阶Beseel拟合结果较为符合导航路径要求。将相机固定在一个位置,分别在晴天和阴天拍摄条件下采集图像,进行滴水线导航路径提取,分别使用三阶和四阶Beseel曲线拟合晴天和阴天的图像边缘轮廓,使用四阶拟合结果较为符合实际要求,平均像素误差为19.5像素,平均像素相对误差为2.6%,平均每帧图像处理速度为27 ms,能较好地满足导航精度和实时性的要求,为施肥作业平台沿滴水线自动导航提供参考。     

复杂背景下果园视觉导航路径提取算法

为解决果园视觉导航机器人行间自主行进和调头问题,提出了基于Mask R-CNN的导航线提取方法和基于随机采样一致性(Random sample consensus, RANSAC)算法的树行线提取方法。首先,基于Mask R-CNN模型对道路与树干进行识别,提取道路分割掩码和树干边界框坐标;其次,在生成行间导航线的基础上,采用改进RANSAC算法提取前排树行线;然后,计算树干边界框坐标点到前排行线的距离,筛选后排树干坐标点,采用最小二乘法拟合生成后排树行线;最后,通过分析前后排树行信息判断调头方向,结合本文提出的行末端距离计算与调头路径规划方法,规划车辆的调头路线。实验结果表明：在不同光照、杂草、天气环境下的6种果园场景中,模型的平均分割精度和边界框检测精度都为97.0%,导航目标点提取的平均偏差不超过5.3%,树行线检测准确率不低于87%,调头后车辆距道路中心的平均偏差为7.8 cm,可为果园环境下的视觉自主导航提供有效参考。     

基于EKF的农机智能体自主导航算法研究

为获得更加准确、全面、实时的农田障碍物信息,提高农业机械智能体自主导航定位的精度,提出一种基于北斗系统和视觉导航的组合定位方法。针对农田环境,选择BDS、视觉CCD为外部传感器,设计一种基于扩展卡尔曼滤波器(EKF)的数据融合算法,该算法融合了BDS和视觉传感器数据,实时定位农机智能体的位置。系统通过对导航角度和行驶进度进行跟踪,完成绝对定位。通过机器视觉图像处理,获取导航基准和作业目标信息,完成相对定位。通过试验验证该算法的有效性,并通过卡尔曼滤波算法(KF)的成果进行对比分析。结果表明：滤波后的路径更平滑,抖动偏差减小,坐标数据比KF滤波结果更稳定、更平滑。此外,距离的平均误差可以从滤波前的0.119 5 m降低到滤波后的0.07 0 m,有效地降低了过程噪声。且位置偏差在±0.1 m以内,精度较高,提升了农机智能体自主导航的定位精度。     

基于模糊自适应纯追踪模型的农业机械路径跟踪方法

为了提高农业机械自动导航控制系统的精度,提出了一种基于模糊自适应纯追踪模型的农业机械路径跟踪方法.该方法基于纯追踪模型进行农业机械路径跟踪控制,结合农业机械运动学模型来确定车轮期望转向角;采用模糊自适应控制在线自适应地确定纯追踪模型中的前视距离,提高了路径跟踪的精度.农业机械的路径跟踪实验结果表明,路径跟踪的最大误差不超过10 cm,平均误差小于5 cm,完全满足农业机械的作业要求,验证了提出方法的可行性和有效性.     

水稻收获作业视觉导航路径提取方法

针对水稻收获视觉导航中的路径规划问题,提出一种水稻收获作业视觉导航路径提取方法。通过相机标定获取畸变参数矫正原始图像,并进行高斯滤波,采用基于2R-G-B超红特征模型的综合阈值法进行图像二值化分割,并对二值图像进行形态学的开-闭运算,抑制噪声干扰,根据图像灰度垂直投影值动态设定感兴趣区域,水平扫描获取作物线拟合关键点,最后采用多段三次B样条曲线拟合法提取水稻待收获区域边界线。室内试验表明,采用本文所提出的图像处理方法提取的图像中距离信息平均误差为9. 9 mm、偏差率为2. 0%,角度信息平均误差为0. 77°、误差率2. 7%。在顺光、逆光、强光、弱光4种光线环境下,对中粳798和临稻20两种作物进行了收获路径提取田间试验,以像素误差、距离误差、相对误差和标准差为评价指标,对比了不同光线下的路径提取结果,试验结果表明,对于中粳798的收获图像,4种光线环境下15个关键点的平均像素误差为28. 7像素,平均距离误差39. 7 mm,平均相对误差2. 7%;强光环境平均像素误差最小,为26. 2像素;弱光环境平均距离误差最小,为23. 9 mm;强光环境平均相对误差最小,为2. 0%;顺光环境稳定性最好,标准差为6. 8像素。对于临稻20的收获图像,4种光线环境下15个关键点的平均像素误差36. 5像素,平均距离误差45. 0 mm,平均相对误差2. 8%,在逆光环境下的平均像素误差、平均距离误差和平均相对误差均最小,分别为29. 5像素、36. 9 mm和2. 3%,稳定性也最好,标准差为10. 8像素。单帧图像平均处理时间38 ms。本研究可为田间作物线检测和收获作业的自动导航提供参考。