农业机械机器视觉导航研究

该文对农业机械机器视觉导航的关键问题图像处理和路径控制进行了深入的研究,采用基于Hough变换和动态窗口技术的图像处理算法提取自然环境下的导航特征,根据系统辨识试验的结果和农业机械机器视觉导航的特点建立了仿真模型,并在通用型轮式拖拉机上建立试验系统对图像处理和控制算法进行验证,取得了良好的试验结果.     

自动导航技术在农业工程中的应用研究进展

分析了GPS技术、机器视觉和多传感器融合技术在自动导航中的应用研究进展。GPS 技术具有较高精度，机器视觉能够采集丰富的环境信息，而多传感器融合技术能够结合GPS技术和机器视觉等导航模式的优点，用不同的传感器可组合出高精度、高可靠性的导航策略。但GPS精度和可靠性容易受到环境因素的影响，机器视觉导航应用中的图像处理受自然光线等条件的干扰很大，图像处理算法的速度不够快，多传感器融合技术在传感器精度、信息获取和处理速度以及抗干扰能力方面存在一些问题。因此解决这些存在的问题，有利于自动导航技术在农业工程中的广泛应用。     

基于垄线平行特征的视觉导航多垄线识别

为有效快速地识别农田多条垄线以实现农业机器人视觉导航与定位,提出一种基于机器视觉的田间多垄线识别与定位方法。使用VC++ 6.0开发了农业机器人视觉导航定位图像处理软件。该方法通过图像预处理获得各垄行所在区域,使用垂直投影法提取出导航定位点。根据摄像机标定原理与透视变换原理,计算出各导航定位点世界坐标。然后结合垄线基本平行的特征,使用改进的基于Hough变换的农田多垄线识别算法,实现多垄线的识别与定位。使用多幅农田图像进行试验并在室内进行了模拟试验。处理一幅320×240的农田图像约耗时219.4 ms,室内试验各垄线导航距与导航角的平均误差分别为2.33 mm与0.3°。结果表明,该方法能有效识别与定位农田的多条垄线,同时算法的实时性也能满足 要求。     

基于LIO-SAM建图和激光视觉融合定位的温室自主行走系统

为解决传统导航方案在温室内无法应对光照变化大、作物行间距窄、接收GPS信号差等问题,该研究提出了基于即时定位与地图构建技术的激光视觉融合式自主导航算法。该系统利用三维激光雷达VLP-16(Velodyne LiDAR,VLP-16)和惯性测量单元获取温室环境信息,采用基于紧耦合的雷达惯导定位建图（tightly-coupled lidar inertial odometry via smoothing and mapping,LIO-SAM）算法构建导航地图,基于轮式里程计和视觉里程计采用扩展卡尔曼滤波器算法实现局部定位,融合激光点云配准算法和自适应蒙特卡洛定位算法实现全局定位。同时,在自主行走系统应用A*算法规划全局路径和动态窗口算法规划局部路径,从而实现自主导航。试验结果表明,LIO-SAM算法构建的温室导航地图最大相对误差、最大绝对误差和均方根误差分别为9.9%、0.081和0.063 m,在温室内改进后的定位算法横向偏差小于0.020 m,纵向偏差小于0.090 m;当自主行走系统以0.15、0.30和0.50 m/s的速度运行时,横向偏差、纵向偏差和航向偏角的平均值分别小于0...     

基于图像处理的玉米收割机导航路线检测方法

快速精准的检测出导航路线并对田端做出准确判断是收割机视觉导航的前提。为解决玉米收割机导航作业过程中因玉米列阴影、玉米田端的杂草等因素对检测精度干扰的问题,该文通过分析视觉导航图像的颜色特征去除阴影干扰,对玉米收割机提取导航作业路径和判断田端提出了检测算法。为减少计算量,设定关注区域作为非第一帧图像的处理范围;为去除玉米列阴影对检测结果造成的干扰,强调关注区域内G(绿色)分量并减弱R(红色)或B(蓝色)分量;为加快处理速度,采用跳行累计G分量的方式确定候补点。在关注区域内对图像中去除阴影干扰后的G分量垂直累计值查找候补点,对图像上半部分收敛性好的候补点通过方差计算确定出已知点,再利用过已知点Hough变换拟合出玉米列边界所在的导航线。最后采用R分量的连续突变判断收割机是否到达田端。田间试验表明:目标直线的平均检测时间为50.13 ms/帧,对田端的检测准确可靠,满足玉米收割的作业要求。该研究成果也适用于高粱等其它高杆作物的机械化收获应用。     

基于全方位视觉传感器的农业机械定位系统

利用全方位视觉传感器能提供传感器周围360°范围内信息的图像,通过全方位图像可准确获取物体方向角,基于该特点研发一种可以实现农业机械自动导航的定位系统。该系统硬件主要由全方位视觉传感器、人工标识、PC、PC软件和作业车构成。该计算算法首先通过全方位视觉系统的校正,得出相机的成像投影中心;通过图像处理提取人工标识的位置,估算出标识相对于相机的方向角,然后根据圆周角定理和几何关系计算出相机的位置来完成农业机械的定位。在面积为5×3 m2的水泥地面和白炽灯光的实验室中进行试验,平均选取10个位置进行试验,试验结果显示估算点和选取点间距离的平均误差小于3 cm。研究证明该定位系统是可行的。     

基于计算机视觉的番茄损伤自动检测与分类研究

为了提高番茄损伤检测与分类的准确率和效率,综合运用计算机视觉技术、BP算法、人工神经网络技术,实现番茄损伤的自动检测与分类。首先,通过计算机视觉系统获取番茄图像,利用图像处理去除噪声、图像分割、图像增强等多种基本图像处理的方法对番茄损伤图像进行了处理,综合运用并行和串行区域分割技术进行番茄表面缺陷区域检测。其次,对番茄图像进行了特征分析,通过提取三种特征包括8个特征参数,采用改进的BP算法训练的多层前向人工神经网络对番茄的损伤进行分类。该文中缺陷检测方法和特征提取方法的采用,使该计算机视觉系统节省了时间,提高了精度。试验证明番茄损伤检测和分类的准确率不低于90%。     

除草机器人机械臂的逆向求解与控制

设计了一种基于机器视觉导航和杂草识别的除草机器人模型,该机器人能沿作物行间自主行走并能准确地识别和“清除”杂草。设计了除草机器人的机械臂除草执行系统,求取了机械臂运动学逆解,用VC++开发了控制程序。试验显示,图像处理算法所需时间少,能够适应户外自然光线在一定范围的变化,机械臂能够平稳动作并精确定位杂草目标。     

菠萝采收机械低成本双目视觉平台搭建与田间试验

摘要：视觉系统是菠萝采摘机械的关键部件之一,可为采摘终端提供待采果实的位置导航信息。考虑到菠萝果形较大,易于识别,以及系统应用于农业领域,需尽可能降低成本。该研究选取双目视觉技术,采用低成本的CMOS视觉传感器,辅以三脚架、双目云台,以及计算机、软件系统,搭建低成本双目视觉标定平台;研究了标定模型及流程,并基于C++和OpenCV v1.1环境以及Matlab标定工具箱的软件环境平台,采用张正友标定算法,分别对视觉传感器进行标定试验,选取了适合本平台的标定方法。基于此平台和开发的菠萝果实识别算法,在湛江菠萝田间进行果实深度测量试验发现,果实测试距离小于1 m时,深度误差在6～8 cm范围内,经软件算法校正后,误差控制在2～3 cm范围内,该平台试验结果良好,表明低成本试验平台具有可行性。该研究可为菠萝采摘机器人视觉系统的开发提供参考。     

用动态图层融合与纹理-灰度梯度能量模型的果树行识别

为解决果园机器视觉导航中果树行识别易受果园复杂环境干扰的问题,该研究提出一种采用动态选取融合因子对彩色图像与深度图像进行图层融合并采用纹理-灰度梯度能量模型进行图像分割的果树行视觉识别算法。首先,通过搭建立体视觉系统获取果园彩色图像与对应的深度图像,并基于饱和度（S）通道图像的灰度值选取动态融合因子,实现对果园彩色图像与深度图像的图层融合;然后,分别计算融合图像的纹理特征图像与灰度梯度特征图像,并建立纹理-灰度梯度结合的能量模型,基于模型能量最小原则进行树干与背景的分割;最后,以树干与地面交点为果树行特征点进果树行直线拟合,完成果树行角度的识别。并对上述算法分别进行果树行识别试验与移动作业平台视觉对行导航试验。果树行识别试验结果表明,该研究算法果树行角度识别平均偏差为2.81°,与基于纹理、灰度梯度特征的果树行识别算法相比识别平均偏差分别降低2.37°和1.25°。移动作业平台视觉导航试验结果表明,在作业平台速度为0.6 m/s时,对行行驶最大偏差为12.2 cm,平均偏差为5.94 cm。该研究提出的视觉导航算法可以满足果园移动作业平台视觉对行导航需求,研究成果将为基于机器视觉的果园自动导航系统的研究与优化奠定基础。     

谷物联合收割机电控全液压转向系统建模与仿真

为研究谷物联合收割机视觉导航系统中电控全液压转向系统的操纵性能,该文介绍了联合收割机视觉导航系统结构,在建立了电控全液压转向系统各组成部分的数学模型基础上,构建了系统的仿真模型,并进行了Simulink 仿真。仿真结果表明：联合收割机的侧向速度和横摆角速度的稳态值与实车试验结果一致,横摆角速度稳态值约为-12.5°/s,侧向速度稳态值约为-0.25 m/s,二者的稳态误差小于5%;在信号瞬态响应过程中,仿真与实车试验的过渡时间相同,约为1.8 s,仿真试验的侧向速度及横摆角度的响应速度皆快于实车试验结果,但二者总体变化趋势相同。所建立的系统模型准确、可靠,较好地反映了联合收割机转向时动静态特性,为联合收割机视觉导航转向控制器设计提供参考依据。     

红枣收获机视觉导航路径检测

针对新疆地区骏枣与灰枣枣园的收获作业,该研究提出一种红枣收获机枣树行视觉导航路径检测算法。通过枣园图像固定区域中B分量垂直累计直方图的标准差d与最小值f的关系对枣园种类进行自动判断。针对灰枣枣园,首先采用色差法与OTSU法对图像进行灰度化与二值化处理,然后进行面积去噪与补洞处理,在处理区域内从上向下逐行扫描,将每行像素上像素值为0的像素点坐标平均值作为该行候补点的坐标,并将所有候补点坐标的平均值作为Hough变换的已知点坐标,最后基于过已知点的Hough变换拟合导航路径;针对骏枣枣园,在处理区域内通过垂直累计R分量的方法确定扫描区间,然后在扫描区间内从上到下逐行扫描,将每行像素上R分量值最小的像素点作为该行的候补点,并将所有候补点的坐标平均值作为Hough变换的已知点,最后使用过已知点的Hough变换拟合导航路径。试验结果表明:对于灰枣枣园与骏枣枣园,该算法的路径检测准确率平均值分别为94%和93%,处理1帧图像平均耗时分别为0.042和0.046s,检测准确性与实时性满足红枣收获机作业要求,能够自动判别枣园种类进行作业,可为实现红枣收获机自动驾驶提供理论依据。     

低对比度条件下联合收割机导航线提取方法

针对强光照下成熟小麦已收割区域和未收割区域对比度低、收割边界获取难度大的问题,该文提出了一种基于区域生长算法的联合收割机导航线精确提取方法。对摄像头采集的作物收割图像,利用区域生长算法分割出图像中未收割区域。生长阈值通过对图像灰度直方图高斯多峰拟合进行自适应计算。对分割得到的二值图像进行形态学处理,获取作物已收割和未收割区域分界线,然后采用最小二乘法拟合收割机作业导航线。试验结果表明:在小麦已收割和未收割区域对比度很低的情况下,所提方法能够精确地提取出小麦收获边线,并得到收割机作业导航线,与人工标定导航线夹角平均误差小于1.21°,可以为联合收割机的自动导航研究提供参考;处理一张900×1 200像素的图像时长约0.41 s,基本满足联合收割机导航作业的实时性要求。与传统方法对比发现,该文方法不易受作物生长密度和麦茬的干扰,导航线的提取精度更高,单幅图像的处理时间略有增加,但基本满足实时性作业要求。     

基于北斗/GPS的谷物收割机作业综合管理系统

针对在谷物产量测量作业中收割机采用单一的全球定位系统(global positioning system,GPS)进行定位时定位信息不稳定的问题,提出利用具有定位和双向通信功能的北斗/GPS双模用户机,其内部采用北斗(BJ-54)和GPS(WGS-84)2种混合定位方式,将这2种定位方式互补使用,可以解决当使用单一定位情况下定位信息不稳定的问题。利用北斗/GPS双模用户机的定位信息实现谷物收割机行走线路图的测绘;利用北斗卫星的报文通信功能代替全球移动通信系统短信息服务,实现谷物收割机作业数据的远程传输功能。谷物收割机作业综合管理系统包括作业管理中心和车载子系统两部分。车载子系统实现收割机的地理位置、收割面积和谷物质量等数据的采集,然后将采集的数据通过北斗卫星传输给作业管理中心。作业管理中心利用这些数据可以绘制出收割机作业轨迹图和产量分布图,同时作业管理中心也可以向收割机发送作业指令,并通过文本语音转换模块将文本内容转换成语音信号输出,实现作业的综合管理与调度。田间产量测量试验表明,系统测量谷物收割面积相对误差为2.9%,谷物产量相对误差为3.47%,系统运行稳定、可靠。该系统可为南方丘陵山区谷物收割机跨区作业的产量测量、管理提供参考。     

基于DM642的高地隙小车的田间路径识别导航系统

为了实现智能小车在各种不同的路径下稳定高效的进行图像导航,该文以自主设计了满足于设施农业用的四轮独立驱动的高地隙小车作为平台,采用TI公司的TMS320DM642高性能数字多媒体处理器为核心处理器,建立了识别路径的视觉检测系统,实现了对多种路径标识的实时采集和图像显示,提出了用于实际路径检测的图像处理的改进算法,包括利用2G-R-B颜色特征识别绿色植物、中心线法提取路径、双折线拟合的Hough变换提取路径、多折线拟合的Hough变换提取路径等,以实现小车的自主导航。试验结果表明所开发的路径识别与跟踪控制系统能对不同颜色的标识线、绿色植物与裸露地面的分界线等一系列路径进行识别和导航控制,系统适应性好、抗干扰能力强,稳定性高、实时性好,满足无人控制的农田作业需求,节省劳动力,提高生产效率。该研究可为应用于田间作业的高地隙小车的路径识别与跟踪控制系统设计提供参考。     

矮化密植枣园收获作业视觉导航路径提取

针对矮化密植枣园环境的复杂性,提出一种基于图像处理的枣园导航基准线生成算法。选用B分量图进行处理,提出"行阈值分割"方法分割树干与背景;根据拍摄场景及视角提出"行间区域"方法剔除行间噪声;通过统计树干与地面交点位置分布区域选取图像五分之二向下区域进行处理;依据树干纵向灰度分布规律,采用浮动窗口灰度垂直投影方法结合形态学开闭运算提取树干区域;基于枣园行间线性分布特征引入"趋势线",而后利用点到直线的距离与设定阈值作比较选取树干与地面的交点;利用交点的位置分布将其归类,并采用最小二乘法原理拟合左右两侧边缘,提取边缘线上各行的几何中心点生成枣园导航基准线。通过对阴天、晴天、顺光、逆光、噪声多元叠加5种条件进行试验,结果表明,该算法具有一定的抗噪性能,单一工况条件导航基准线生成准确率可达83.4%以上,多工况条件准确率为45%。针对5种工况条件的视频检测,结果表明,单一工况条件算法动态检测准确率可达81.3%以上,每帧图像处理平均耗时低于1.7 s,多工况条件检测准确率为42.3%,每帧图像平均耗时1.0 s。该研究可为矮化密植果园实现机器人自主导航作业提供参考。     

联合收获机单神经元PID导航控制器设计与试验

针对联合收获机在田间直线跟踪作业中在维持高割幅率条件下易产生漏割的问题,设计了一种基于单神经元PID(Proportion Integration Differentiation)的联合收获机导航控制器。以轮式联合收获机为平台,通过对原有液压转向机构进行电控液压改装,搭载相关传感器构建了导航硬件系统。开展了常规PID控制和单神经元PID控制的仿真以及实地对比试验,仿真结果表明单神经元PID控制具有超调小和进入稳态快等特点;路面试验表明,当收获机速度为0.7 m/s时,单神经元PID控制最大跟踪偏差为6.10 cm,平均绝对偏差为1.21 cm;田间试验表明,收获机速度为0.7 m/s时,单神经元PID控制田间收获最大跟踪偏差为8.14 cm,平均绝对偏差为3.20 cm。试验表明所设计的联合收获机导航控制器能够满足自动导航收获作业要求,为收获作业自动导航提供了技术参考。     

玉米行间导航线实时提取

针对高地隙植保机底盘玉米田间植保作业压苗严重的现象,该研究提出了基于车轮正前方可行走动态感兴趣区域(Region of Interest,ROI)的玉米行导航线实时提取算法。首先将获取的玉米苗带图像进行像素归一化,采用过绿算法和最大类间方差法分割玉米与背景,并通过形态学处理对图像进行增强和去噪;然后对视频第1帧图像应用垂直投影法确定静态ROI区域,并在静态ROI区域内利用特征点聚类算法拟合作物行识别线,基于已识别的玉米行识别线更新和优化动态ROI区域,实现动态ROI区域的动态迁移;最后在动态ROI区域内采用最小二乘法获取高地隙植保机底盘玉米行间导航线。试验表明,该算法具有较好的抗干扰性能,能够很好地适应较为复杂的田间环境,导航线提取准确率为96%,处理一帧分辨率为1 920像素×1 080像素图像平均耗时97.56 ms,该研究提出的算法能够为高地隙植保机车轮沿玉米垄间行走提供可靠、实时的导航路径。