采用双目视觉和自适应Kalman滤波的作物行识别与跟踪

针对传统作物行识别方法在相邻图像间的识别结果偏差较大,作物行的定位精度和稳定性低等问题,该研究提出一种基于双目视觉和自适应Kalman滤波技术的作物行识别与跟踪方法。对于作物行识别,首先建立图像预处理算法,基于改进的超绿-超红模型和最大类间方差法分割植被灰度特征;建立作物行特征提取算法,基于特征点检测技术和双目视差测距方法计算植被角点特征的三维坐标,根据三维阈值提取作物行特征点,进而建立作物行中心线检测算法,建立基于主成分分析的直线拟合模型,根据作物行特征点的频数统计规律检测作物行冠层中心线。对于作物行跟踪,建立跟踪目标规划模型,提取位于图像中央区域的作物行作为跟踪目标;建立目标状态方程,基于自适应Kalman滤波技术构建作物行中心线跟踪模型。以棉花图像开展试验研究,图像数据包括阴影、杂草、地头等田间场景。试验结果表明,该研究方法的作物行识别准确度、精度和速度均较高,识别正确率约为92.36%,平均航向偏差为0.31°、标准差为2.55°,平均识别速度约80.25 ms/帧;经目标跟踪后,航向角和横向位置估计的标准差分别为2.62°和0.043 m、较无跟踪状态分别减小22.94%和10.42%,作物行中心线的方位估计精度进一步提高。研究成果可为导航系统提供连续、稳定的作物行导引参数。     

基于图像特征点粒子群聚类算法的麦田作物行检测

为了快速准确地提取麦田作物行中心线,提出了基于图像特征点粒子群聚类算法的麦田作物行检测。首先,对自然光照下获取的彩色图像运用"过绿颜色因子图像灰度化"、"Otsu图像二值化"、"左右边缘中间线检测提取作物行特征点算法"3步对图像进行预处理。然后,根据农田作物行中心线周围区域的特征点到该直线的距离均小于某一距离阈值的特征,运用粒子群优化算法对每一作物行的特征点分别进行聚类。最后,对每一类的特征点用最小二乘法进行直线拟合获取麦田作物行中心线。试验结果表明,该算法可以对作物断行、杂草、土块等复杂农田环境下的图像进行有效地作物行检测,识别率达95%,识别误差小于3°。与标准Hough算法相比,运行速率提升了一倍。该文可为实现农业机器人田间作业提供参考。     

基于Rank变换的农田场景三维重建方法

农田场景的三维重建对于研究远程监测作物的生长形态、预测作物产量、识别田间杂草等都具有重要作用。为解决农田场景图像三维重建困难、立体匹配精度较差等问题,该文提出了一种基于Rank变换的农田场景三维建模方法。该方法运用加权平均法灰度化图像,以保留农田场景的完整特征;以灰度图像的Rank变换结果作为匹配基元,采用基于归一化绝对差和测度函数的区域匹配算法获取场景的稠密视差图;根据平行双目视觉成像原理计算场景的空间坐标,并生成三维点云图;依据所得场景的三维坐标,对场景中感兴趣区域实现三维重建。采用标准视差计算测试图像验证立体匹配算法精确性,平均误匹配率较传统的绝对差和函数算法降低约5.63%。运用不同环境下的棉田场景图像测试三维重建方法,试验结果表明,在6.8 m的景深范围内,作物及杂草的高度、宽度等几何参数计算值与实际测量值接近,各项指标的平均相对误差为3.81%,验证了三维重建方法的可靠性及准确性。     

基于SUSAN角点的秧苗列中心线提取方法

中国南方水田环境复杂,不同生长阶段秧苗的形态各异,且田中常出现浮萍及蓝藻,其颜色与秧苗颜色极其相似,因此常用的作物特征提取算法难以应用在水田上。针对这些问题,该文提出一种基于SUSAN角点的秧苗列中心线方法。运用归一化的Ex G(excess green index)提取秧苗的灰度化特征,运用自适应的SUSAN(smallest univalue segment assimilating nucleus)算子提取秧苗特征角点;最后运用扫描窗口近邻法进行聚类,采用基于已知点的Hough变换(known point Hough transform)提取秧苗列中心线。经试验验证,此算法在图像中存在浮萍、蓝藻和秧苗倒影的情况下有较高的鲁棒性。在各种情况下均成功提取秧苗的列中心线,且每幅真彩色图像(分辨率:1280×960)处理时间不超过563 ms,满足视觉导航的实时性要求。     

基于虚拟现实的拖拉机双目视觉导航试验

针对农机导航系统的传统田间试验方式受作物生长状态的约束性较强,错过适当的作物生长时期将直接导致开发周期延长、成本增加等问题,该文提出了一种基于虚拟现实技术的拖拉机双目视觉导航试验方法。该方法以拖拉机为作业机械,苗期棉花为目标作物,在虚拟现实环境下建立田间作物行场景的三维几何模型,用于模拟田间试验场景;建立虚拟现实环境下的拖拉机物理引擎,根据实车参数及试验场景信息快速、准确地解算拖拉机的动力学参数,并且根据解算所得的状态参数在虚拟试验场景中实时渲染拖拉机的位姿状态;设计路径跟踪控制器,以经过双目视觉方法识别的田间路径为目标路径,根据拖拉机当前行驶路径与目标路径的相对位置关系解算并控制拖拉机前轮转向角度。以某型拖拉机参数为实车参数,采用大小行距方式布置5行曲线形态的苗期棉花作物行场景开展虚拟导航试验。拖拉机以不大于2 m/s的车速跟踪作物行时,平均位置偏差的绝对值不大于0.072 m、位置偏差的标准差不大于0.141 m;平均航向偏差的绝对值不大于2.622°、航向偏差的标准差不大于4.462°。结果表明:该文设计的拖拉机虚拟试验系统能够在虚拟现实环境下,模拟田间作物行环境开展基于双目视觉的导航试验,可为导航控制系统的测试及改进提供理论依据和试验数据。     

基于自动Hough变换累加阈值的蔬菜作物行提取方法研究

为解决机器视觉对生菜和绿甘蓝两种作物在整个生长时期内多环境变量对作物行识别影响的问题,同时提高机器视觉作物行识别算法的有效性,该文提出了一种基于自动Hough变换累加阈值的多作物行提取算法。首先,选用Lab颜色空间中与光照无关a分量对绿色作物进行提取,通过最优自适应阈值进行图像分割,并采用先闭后开形态学运算对杂草和作物边缘进行滤波。其次,采用双阈值分段垂直投影法对作物行特征点进行提取,通过对亮度投影视图中的目标像素占比阈值和噪声判断阈值设置,实现特征点位置判断和杂草噪声过滤,并对相邻特征点进行优化,剔除部分干扰特征。最后,采用Hough变化对特征点进行直线拟合,将不同Hough变换累加阈值获得的拟合直线映射到累加平面上,通过K-means聚类将累加平面数据聚类为与作物行数相同的类数,根据相机成像的透视原理提出基于聚类质心距离差和组内方差的最优累加阈值获取方法,将最优累加阈值下累加平面中的聚类质心作为识别出的真实作物行线。温室和田间试验表明,针对不同生长时期的生菜和绿甘蓝作物,该文算法均可有效识别出作物行线,最优阈值算法耗时小于1.5 s,作物行提取平均耗时为0.2 s,在田间和温室中作物行的平均识别准确率分别为94.6%、97.1%,识别准确率为100%的占比分别为86.7%和93.3%。研究结果为解决多环境变量影响因素下的算法鲁棒性和适用性问题提供依据。     

基于SURF算法的绿色作物特征提取与图像匹配方法

由于田间环境的复杂性,绿色作物特征提取与匹配仍然是基于双目视觉技术农田作物三维信息获取急需解决的关键技术之一。该文首先在RGB空间进行图像分割滤波处理。然后,采用SURF算法旋转不变性分两步获取绿色作物特征点对:第一步采用Hessian矩阵检测作物特征点,运用非极大值抑制法和插值运算寻找、定位极值点;第二步确定特征点主方向,采用描述算子进行特征点提取。最后,运用最近距离比次近距离法进行特征点匹配,并采用全约束条件滤除错误的匹配点对。同时将SURF和SIFT法进行对比分析,通过对不同光照、土壤的田间条件下芥蓝、芹菜、白菜13组图像进行试验,结果表明采用SUFR和SIFT法绿色作物特征提取率均值分别为1.2%、3.3%,双目视觉系统左、右作物图像特征正确匹配率的均值分别为94.8%、92.4%,时间消耗均值分别为4.6s、4.8s。采用SURF优越于采用SIFT法,这为进一步进行农业机械3D视觉导航或基于无线传感器网络的田间作物在线三维信息准确获取提供可借鉴思路和方法。     

基于机器视觉的玉米精准施药系统作物行识别算法及系统实现

识别作物行中心线并实现喷药喷头的自动对准是精准施药系统实现的关键技术。为克服作物行识别算法的单一性和适应性不强的缺点,该文以生长早中期的玉米图像为研究对象,利用改进的过绿特征法和改进的中值滤波算法分割出作物行,减少处理时间和去除噪声;然后在行提取时只保留包含作物行信息的中间作物行,通过随机Hough变换检测出作物行中心线,并根据世界坐标与图像坐标的转换和相对距离得到偏差信息:最后实现了系统的硬件搭建并给出了实际运行效果。不同图像的试验和处理结果表明,该算法在背景分割、作物行提取和偏差信息获取方面具有一定的优势,可适用于不同作物及不同视野图像的作物行算法识别,对精准施药的研究具有一定的参考价值。     

缺株玉米行中心线提取算法研究

无人驾驶农机自主进行行驶路径检测和识别系统需要具备环境感知能力。作物行的中心线识别是环境感知的一个重要方面,已有的作物行中心线识别算法在缺株作物行中心线提取中存在检测精度低的问题。该研究提出了一种能够在缺株情况下提取玉米作物行中心线的算法。首先采用限定HSV颜色空间中颜色分量范围的方法将作物与背景分割,通过形态学处理对图像进行去噪并填补作物行空洞;然后分别在图像底部和中部的横向位置设置条状感兴趣区（Region of Interest,ROI）,提取ROI内的作物行轮廓重心作为定位点。在图像顶端间隔固定步长设置上端点,利用定位点和上端点组成的扫描线扫描图像,通过作物行区域最多的扫描线即为对应目标作物行的最优线;将获取的最优线与作物行区域进行融合填充作物行中的缺株部位;最后设置动态ROI,作物行区域内面积最大轮廓拟合的直线即为目标作物行中心线。试验结果表明,对于不同缺株情况下的玉米图像,该算法的平均准确率达到84.2%,每帧图像的平均检测时间为0.092 s。该研究算法可提高缺株情况下的作物行中心线识别率,具有鲁棒性强、准确度高的特点,可为无人驾驶农机在作物行缺株的农田环境下进行作业提供理论依据。     

基于单目视觉车辆姿态角估计和逆透视变换的车距测量

针对一般的单目视觉测距方法忽略汽车在行驶过程中姿态角变化的问题,该文提出了一种基于变参数逆透视变换和道路消失点检测的单目视觉测距模型,实现了车辆在相对运动过程中的纵向距离和横向距离实时测量。首先,该文通过基于纹理方向估计的道路消失点检测算法计算出汽车运动的偏航角和俯仰角,然后运用变参数的逆透视变换和几何建模分析方法,建立车辆测距模型。对不同道路环境和测距方法的2组对比试验分析该文方法的可行性和有效性,结果表明,该文所提出的测距模型能够有效测量纵向70 m、横向4 m以内的目标车辆距离,测量误差在5%以内,且道路环境越好,误差越小,道路良好的平坦道路测距误差在3%以内;该文算法的平均处理速度达到了40帧/s。     

基于区域生长均值漂移聚类的苗期作物行提取方法

为解决传统机器视觉方法检测苗期作物行时不同作物种类、不同生长背景和不同作物行数导致的作物行提取精度低的问题,该研究提出一种基于区域生长和均值漂移聚类的苗期作物行提取方法。首先,通过Lab颜色空间中a、b双颜色分量最大熵法选取最优阈值进行图像分割;其次,通过垂直投影获取均值漂移的聚类窗口带宽,均值漂移时以聚类窗口边缘为种子点进行区域生长来归类和标记每一行作物,之后遍历所有作物行获取聚类中心点;最后,通过最小二乘法拟合聚类中心点得到作物行直线。试验结果表明,该方法对大蒜、玉米、油菜、水稻和小麦5种作物的苗期作物行提取精度较高,5种作物的平均行识别率为98.18%,平均误差角度为1.21°,每张图片的平均处理时间为0.48 s。该方法的作物行提取性能明显优于Hough变换方法,为田间环境多因素影响下的苗期作物行提取提供了一种更具鲁棒性的方法。     

改进的种子点生长模糊边缘检测算法

针对传统模糊边缘检测算法计算量大、效率低的弱点,利用图像边界点连续的特性,结合模糊边缘检测算法的思想,提出了一种基于模糊理论的改进种子点生长边缘检测算法。利用相应算法建立两张快速查找表,对图像中的像素点通过查表,选取种子点,根据边缘点的判断准则对其进行生长,最终实现边缘检测。实验证明,算法具有较高的效率和较强的抗噪能力。     

基于机器视觉的玉米果穗参数的图像测量方法

在玉米育种和品质研究中,经常需要对玉米的果穗长度、果穗宽度、穗行数、穗粒数等参数进行测量。该研究提出了一种基于机器视觉的玉米果穗参数图像测量方法。使用PC摄像头连续采集旋转台上的玉米果穗图像,经过图像处理,获得玉米穗的图像区域,进而得到玉米果穗的穗长和穗宽参数;通过对玉米果穗局部区域的x方向和y方向累计像素值曲线进行分析,提取出玉米穗行,获得每一穗行的穗粒数和穗行宽度;通过图像匹配,获得玉米果穗的穗行数。试验表明,使用该研究方法对玉米果穗的长度、宽度和穗行数的参数测量准确率可达98%以上,对穗行宽及总穗粒数测量准确率达95%以上,整穗的平均检测时间约102 s/穗。该研究实现了玉米果穗参数快速有效的自动检测,相对于目前采用的人工检测,大大提供检测效率,降低劳动强度,可应用于玉米千粒质量检测、产量预测、育种和品质分析等场合。     

基于垄线平行特征的视觉导航多垄线识别

为有效快速地识别农田多条垄线以实现农业机器人视觉导航与定位,提出一种基于机器视觉的田间多垄线识别与定位方法。使用VC++ 6.0开发了农业机器人视觉导航定位图像处理软件。该方法通过图像预处理获得各垄行所在区域,使用垂直投影法提取出导航定位点。根据摄像机标定原理与透视变换原理,计算出各导航定位点世界坐标。然后结合垄线基本平行的特征,使用改进的基于Hough变换的农田多垄线识别算法,实现多垄线的识别与定位。使用多幅农田图像进行试验并在室内进行了模拟试验。处理一幅320×240的农田图像约耗时219.4 ms,室内试验各垄线导航距与导航角的平均误差分别为2.33 mm与0.3°。结果表明,该方法能有效识别与定位农田的多条垄线,同时算法的实时性也能满足 要求。     

用动态图层融合与纹理-灰度梯度能量模型的果树行识别

为解决果园机器视觉导航中果树行识别易受果园复杂环境干扰的问题,该研究提出一种采用动态选取融合因子对彩色图像与深度图像进行图层融合并采用纹理-灰度梯度能量模型进行图像分割的果树行视觉识别算法。首先,通过搭建立体视觉系统获取果园彩色图像与对应的深度图像,并基于饱和度（S）通道图像的灰度值选取动态融合因子,实现对果园彩色图像与深度图像的图层融合;然后,分别计算融合图像的纹理特征图像与灰度梯度特征图像,并建立纹理-灰度梯度结合的能量模型,基于模型能量最小原则进行树干与背景的分割;最后,以树干与地面交点为果树行特征点进果树行直线拟合,完成果树行角度的识别。并对上述算法分别进行果树行识别试验与移动作业平台视觉对行导航试验。果树行识别试验结果表明,该研究算法果树行角度识别平均偏差为2.81°,与基于纹理、灰度梯度特征的果树行识别算法相比识别平均偏差分别降低2.37°和1.25°。移动作业平台视觉导航试验结果表明,在作业平台速度为0.6 m/s时,对行行驶最大偏差为12.2 cm,平均偏差为5.94 cm。该研究提出的视觉导航算法可以满足果园移动作业平台视觉对行导航需求,研究成果将为基于机器视觉的果园自动导航系统的研究与优化奠定基础。