精细育种田间局部定位系统的研制

为实现田间精细化育种,提出田间精细育种的概念并研发一种适合田间精细化育种中具有GPS定位功能的田间局部定位系统。该系统主要由全方位视觉传感器、人工标识、PC和PC软件构成;人工标识采用1个主标识和3个从标识。主要通过阈值提取人工标识的特征像素,根据2个相邻像素的欧几里得几何距离进行像素分块和求出像素分块的重心作为标识在图像中的位置求出方位角度,依据圆周角定理和几何关系推导出定位公式来计算传感器相对标识的几何位置。在室外为30?m×30?m的水平草坪上进行试验,试验结果显示估算点和选取点间距离的均方根误差约15?cm。该定位系统对于精细育种田间位置取点、精准施肥、喷药以及制作产量图是可行的。     

农业机械全方位视觉定位系统的定位算法

农业机械全方位视觉定位系统根据标识方位角角度估算传感器相对于标识坐标系的绝对位置,包括系统校正、除噪、标识特征提取、方位角度估算和定位算法,其中定位算法是实现农业机械全方位视觉定位系统的关键部分。该文主要研究了4个标识和3个标识的定位算法,并通过室外30m×30m平地上的定点试验和传感器倾斜试验验证定位精度及传感器倾斜对定位精度的影响。试验结果表明,试验点坐标的估算值与实测值之间距离的均方根误差与平均绝对误差分别为14.75和14.06cm,最大绝对误差为25.72cm;倾斜角度越大,对定位精度的影响越大。研究表明本文定位算法是可行的,且算法简单、运行速度快;实用中当传感器倾斜角度大于5°或者凹凸不平明显的作业环境中,有必要考虑传感器倾斜造成的定位误差的补偿。     

基于GPS和机器视觉的组合导航定位方法

准确、可靠的位置信息是进行农业机械自动导航的前提。该文构建了一个基于GPS和机器视觉的多传感器组合导航定位系统。在此系统中,采用GPS获取导航车的绝对位置信息、航向角度和行驶速度;机器视觉通过图像处理获取导航基准线,并得到代表作物行特征的点;UKF（unscented kalman filter,无迹卡尔曼滤波）滤波器用来对上述传感器获取的信息进行滤波,并以电瓶车为平台,对滤波前后的定位效果进行对比。试验结果表明,使用UKF滤波后的定位精度和稳定性得到了改善,X方向和Y方向标准偏差分别为2.43、0.07 m,定位曲线得到了平滑,克服了使用单一传感器进行定位的弊端,能够满足自动导航系统的要求。     

番茄果实串采摘点位置信息获取与试验

针对番茄收获机器人在采摘过程中果实串采摘点位置难以确定的问题,提出了基于果梗骨架角点计算方法,并利用该算法对番茄果实串果梗采摘点进行位置信息获取:首先采用最大类间方差分割法进行目标果实串分割,通过形态学方法和阈值法去除干扰,提取出目标果实串分割图像;根据果实串的质心和果串的轮廓边界确定果梗的感兴趣区域,采用快速并行细化算法提取果梗的骨架,利用Harris算法检测得到果实串第一个果实分叉点与植株主干之间果梗骨架角点,通过计算获得采摘点位置信息。然后进行验证试验,利用双目视觉图像采集系统采集了60组果实串图像并获取果梗采摘点位置信息,结果表明,采摘点位置成功率为90%,为采摘机器人提供准确的采摘位置信息。     

用动态图层融合与纹理-灰度梯度能量模型的果树行识别

为解决果园机器视觉导航中果树行识别易受果园复杂环境干扰的问题,该研究提出一种采用动态选取融合因子对彩色图像与深度图像进行图层融合并采用纹理-灰度梯度能量模型进行图像分割的果树行视觉识别算法。首先,通过搭建立体视觉系统获取果园彩色图像与对应的深度图像,并基于饱和度（S）通道图像的灰度值选取动态融合因子,实现对果园彩色图像与深度图像的图层融合;然后,分别计算融合图像的纹理特征图像与灰度梯度特征图像,并建立纹理-灰度梯度结合的能量模型,基于模型能量最小原则进行树干与背景的分割;最后,以树干与地面交点为果树行特征点进果树行直线拟合,完成果树行角度的识别。并对上述算法分别进行果树行识别试验与移动作业平台视觉对行导航试验。果树行识别试验结果表明,该研究算法果树行角度识别平均偏差为2.81°,与基于纹理、灰度梯度特征的果树行识别算法相比识别平均偏差分别降低2.37°和1.25°。移动作业平台视觉导航试验结果表明,在作业平台速度为0.6 m/s时,对行行驶最大偏差为12.2 cm,平均偏差为5.94 cm。该研究提出的视觉导航算法可以满足果园移动作业平台视觉对行导航需求,研究成果将为基于机器视觉的果园自动导航系统的研究与优化奠定基础。     

基于图像识别的边坡表面位移检测方法研究

针对边坡表面状态发生的变化检测,提出了一种新的智能检测方法。人工设置两类标识体,一类为定位标识,一类为观测标识。用图像识别方法对标识体的质心进行提取和计算,通过一定的判别准则来判断边坡的表面位移状况。具体处理方法为先将图像转换到HIS空间,根据设定的颜色提取感兴趣区域。进行图像边缘二值化处理,计算出感兴趣区域的中心坐标值。实验证明,该方法具有鲁棒性好、检测准确率高等特点。     

菠萝采收机械低成本双目视觉平台搭建与田间试验

摘要：视觉系统是菠萝采摘机械的关键部件之一,可为采摘终端提供待采果实的位置导航信息。考虑到菠萝果形较大,易于识别,以及系统应用于农业领域,需尽可能降低成本。该研究选取双目视觉技术,采用低成本的CMOS视觉传感器,辅以三脚架、双目云台,以及计算机、软件系统,搭建低成本双目视觉标定平台;研究了标定模型及流程,并基于C++和OpenCV v1.1环境以及Matlab标定工具箱的软件环境平台,采用张正友标定算法,分别对视觉传感器进行标定试验,选取了适合本平台的标定方法。基于此平台和开发的菠萝果实识别算法,在湛江菠萝田间进行果实深度测量试验发现,果实测试距离小于1 m时,深度误差在6～8 cm范围内,经软件算法校正后,误差控制在2～3 cm范围内,该平台试验结果良好,表明低成本试验平台具有可行性。该研究可为菠萝采摘机器人视觉系统的开发提供参考。     

基于图像处理的边坡表面状态检测方法研究

针对图像边坡表面状态发生的变化检测,提出了一种新的智能检测方法。人工设置两个目标体,一个作为参考标识点,一个作为监测点,标识点具有特殊的颜色（红色）与形状（圆形）,以两者之间的相对位移来表征边坡的状态变化。该方法由以下4个环节构成：选取特定目标体,设置目标体;将图像转换到HIS空间,提取特定的颜色---红色,确定感兴趣区域（ROI）;进行图像二值化,确定感兴趣区域的中心坐标;通过位移判定准则判定边坡表面状态是否发生变化。实验证明,该方法具有鲁棒性好、检测准确率高等特点。     

农业车辆双目视觉障碍物感知系统设计与试验

为保证智能化农业机械在自主导航过程中的安全可靠性,该研究将嵌入式AI计算机Jetson TX2作为运算核心,设计一套基于双目视觉的农业机械障碍物感知系统。使用深度卷积神经网络对作业环境中的障碍物进行识别,并提出一种基于改进YOLOv3的深度估计方法。将双目相机抓取的左右图像分别输入至改进的YOLOv3模型中进行障碍物检测,并将输出的目标检测框信息进行目标匹配和视差计算,完成对障碍物的识别、定位和深度估计。试验结果表明,该系统能够对障碍物进行准确识别,平均准确率和召回率分别达到89.54%和90.18%;改进YOLOv3模型的深度估计误差均值、误差比均值较原始YOLOv3模型分别降低25.69%、25.65%,比Hog+SVM方法分别降低41.9%、41.73%;动态场景下系统对障碍物深度估计的平均误差比为4.66%,平均耗时0.573s,系统在深度预警时能够及时开启电控液压转向模块进行安全避障。研究结果可为农业机械的自主导航提供有效的环境感知依据。     

利用单目视觉获取钵苗移栽适合度信息的方法

钵苗在穴盘中的生长状态各异,钵苗移栽是育苗过程的关键环节。为提高移栽后钵苗成活率,解决出苗不齐和断苗等问题,需对被移栽钵苗的直立度和高度等适合度信息进行综合评价,筛选出符合移栽要求的钵苗。图像采集系统中的顶杆能够顶起穴盘中的钵苗旋转90°,相机采集钵苗转动90°前后2幅图像,图像RGB各通道灰度值概率直方图存在灰度集中区域。首先,采用24位RGB源图像转8位灰度图、中值滤波和灰度拉伸算法对图像进行预处理;然后,使用细化、水平膨胀和垂直腐蚀等图像处理算法,获取钵苗主茎秆的特征;最后,采用标准差为0.65的3×3高斯模板Harris角点检测算法提取每株钵苗主茎秆上的关键点信息,对其加权最小方差直线拟合获取拟合直线,直线的斜率换算后作为钵苗直立度的判定值,以每一株钵苗的全部角点y坐标最大差值的110%作为钵苗高度的判定值。只有钵苗的直立度和高度都满足各自评价指标要求才被认为适合移栽。试验获取了12幅图像共计30株辣椒钵苗在0和90°位置的直立度和高度,每幅图像处理算法平均耗时0.35 s。按直立度(45°α135°)和高度(H105 mm)评价指标判定,5株钵苗不适合移栽;2株钵苗的视觉检测结果与人工测量结果相反,视觉检测结果与人工测量结果之间的偏差率为6.67%。出现检测偏差的原因主要是钵苗叶对茎秆的遮挡和移栽机的振动使得钵苗在转动90°的前后与顶杆的相对位置发生了变化影响了人工和视觉测量的精度。该方法能够满足钵苗移栽机实时筛选工作的需求。     

基于序贯扫描算法的区域标记技术与蘑菇图像分割方法

蘑菇采摘机械手通过机器视觉系统进行引导与定位，需要对菇床上的蘑菇图像进行处理和分析。为了在一幅蘑菇图像中将各个蘑菇的边界识别并区分出来，作者提出了一种分析算法。首先分析了蘑菇图像的数字特征和边界的分割方法，提出了基于序贯扫描方法的蘑菇图像区域标记技术，实现了各个蘑菇图像中心区域的识别。然后，从各个中心区域的中心坐标点出发，沿着不同角度的半径方向搜索蘑菇边界点，将找到的各个蘑菇边界点存放到相应的动态链表中，实现各个蘑菇的独立分割，最后在Visual C++软件平台上对该算法进行了验证。结果证明该方法是可行的，为蘑菇采摘机器人视觉系统的开发奠定理论基础。     

基于视觉伺服的草莓采摘机器人果实定位方法

为解决基于手眼系统的视觉伺服方法在草莓采摘机器人应用中存在的视觉信息反馈延迟大、频率低以及深度信息无法确定等带来的定位耗时长、精度低的问题,采用摄像机曝光信号触发控制卡进行高速位置锁存,结合位置传感器的反馈信息,来减少定位耗时;采用基于运动恢复结构的方法,提高果实采摘参数的精度。在垄坡和摄像机像平面的夹角为±10°范围内的情况下,针对包含1~3粒成熟草莓的果实域,采用直角坐标式机械臂草莓采摘机器人样机进行了定位试验。试验结果表明:定位时间在0.633~0.886 s之间;草莓深度信息的相对误差在-4.34%~0.95%范围内。     

基于视觉里程计和自然信标融合的移动机器人定位算法

针对未知室内环境下移动机器人的定位问题,提出了一种基于单目视觉和自然信标融合的移动机器人定位算法。该方法采用普通摄像头和全景摄像头结合的方式进行定位。采用普通摄像头提取天花板特征,进行视觉里程计定位。全景普通摄像头提取周边环境及天花板信息,采用Harris-SIFT构建自然信标库,并且进行自然信标检测与识别。在两者的基础上,移动机器人进行实时定位。利用自然信标定位时,提出方向滤波器结合视觉里程计和惯导系统估计旋转角度,利用自然信标求取定位特征点,两者结合进行定位。该方法有效地结合了相对定位的快速性和绝对定位的准确性。在室内环境进行试验,其中自然信标定位在x,y方向的平均误差分别为38.66和31.54 mm。相比视觉里程计而言,结合自然信标定位的平均误差分别减小了32.53%和68.68%。融合视觉里程计的自然信标定位运算速度相比仅靠自然信标定位而言提高了约6倍左右,同时与视觉里程计定位处于同一数量级。试验结果表明相对于视觉里程计而言,所提算法大大提高了定位精度,同时不影响算法的实时性。     

荔枝采摘机器人双目视觉的动态定位误差分析

扰动引起的随机误差成为采摘机器人视觉定位的难题。为了探索荔枝采摘机器人视觉定位误差,首先用双目视觉系统和模拟扰动的震动平台对荔枝结果母枝采摘点的三维坐标进行定位试验,检测其实际位置,获得误差数据;然后,提出了一种动态定位误差分析方法,根据误差变化规律将动态定位误差划分为系统误差和随机误差;最后,用统计方法对2类误差分别进行定量分析和评价。结果表明,定位距离为600~1 000 mm时,系统误差与动态定位误差的变化趋势基本一致,视觉深度方向、水平方向最大动态定位误差分别为58.8和17.3 mm。系统误差置信区间较窄,视觉深度方向系统误差与定位距离呈较强的线性相关性,水平方向则表现为非线性。扰动下的随机定位误差服从正态分布,视觉深度方向、水平方向间的随机误差相关性较弱。视觉深度方向受扰动的影响较大,随机误差远大于水平方向,且不确定度较高。研究结果为荔枝采摘机器人视觉定位系统校准和动态定位方案设计提供依据,为机构容错纠错提供理论依据和实践指导。     

基于Gray-EKF算法的智能农业车辆同时定位与地图创建

为了提高智能农业车辆在未知环境中同时定位与地图创建精度,将灰色预测理论和扩展卡尔曼滤波融合,提出了基于灰色扩展卡尔曼滤波的同时定位与地图创建算法。算法在传统的扩展卡尔曼滤波基础上,通过改进的滑窗灰色预测理论建立传感器的GM(1,1)观测预测模型,进而完成新息的计算。为了提高观测精度和抗干扰能力,系统使用了三目摄像机作为观测传感器,并提出了一种简易的权值标定算法。试验表明:精度权值标定后的三目摄像机具有较高的测量精度,16组测量数据中有12组的测量误差小于1%,并能减小由于干扰造成的误差。在30个人工路标的停车场环境中,车辆对路标x和y方向的观测误差均值为0.074和0.073m,自身定位误差为0.140m,误差均方差为0.048。在60个人工路标的停车场环境中,车辆对路标x和y方向的观测误差均值为0.061和0.068m,自身定位误差为0.109m,误差均方差为0.038。在60个人工路标的旱地环境中,车辆对路标x和y方向的观测误差均值为0.079和0.077m,自身定位误差为0.122m,误差均方差为0.049。研究认为,与传统的EKF SLAM算法相比,Gray-EKF SLAM算法具有更高的精度。     

基于相位相关的温室番茄植株多模态三维重建方法

为实现温室番茄植株多模态三维重建,解决多光谱反射率配准和多视角点云三维重建问题,基于相位相关原理将多光谱反射率配准至RGB-D图像坐标系中,建立了基于Kinect传感器测量位姿自主标定的多视角RGB-D图像三维重建方法,实现植株RGB三维点云模型和多光谱反射率点云模型重建,通过归一化灰度相似系数、配准区域光谱重叠率、互信息值3个指标客观评价二维多光谱图像配准质量,采用豪斯多夫距离客观评价植株三维点云重建精度。结果表明:30株温室番茄,每株4个重建视角,视角间隔为90°,配准区域光谱重叠率和归一化灰度相似系数的平均值分别为0.920 6和0.908 5,异源图像配准后互信息值比配准前互信息值平均提升了9.81%,植株冠层多光谱图像能够准确配准至深度坐标系,番茄植株三维重建点云距离集小于0.6 cm的比例为78.39%,小于1.0 cm的比例为91.13%,番茄距离集均值的平均值为0.37 cm,表明植株三维点云模型重建精度较高,能够应用于温室番茄植株多模态三维重建。植株多模态三维模型是实现三维形态测量与生理诊断的关键要素,为高通量植株表型测量提供高效精准的测量方法,对植物表型组学等研究领域的发展具有重要的意义。     

大视场下荔枝采摘机器人的视觉预定位方法

机器人采摘荔枝时需要获取多个目标荔枝串的空间位置信息,以指导机器人获得最佳运动轨迹,提高效率。该文研究了大视场下荔枝采摘机器人的视觉预定位方法。首先使用双目相机采集荔枝图像;然后改进原始的YOLOv3网络,设计YOLOv3-DenseNet34荔枝串检测网络;提出同行顺序一致性约束的荔枝串配对方法;最后基于双目立体视觉的三角测量原理计算荔枝串空间坐标。试验结果表明,YOLOv3-DenseNet34网络提高了荔枝串的检测精度与检测速度;平均精度均值(mean average precision,m AP)达到0.943,平均检测速度达到22.11帧/s。基于双目立体视觉的荔枝串预定位方法在3 m的检测距离下预定位的最大绝对误差为36.602 mm,平均绝对误差为23.007 mm,平均相对误差为0.836%,满足大视场下采摘机器人的视觉预定位要求,可为其他果蔬在大视场下采摘的视觉预定位提供参考。