基于垄线平行特征的视觉导航多垄线识别

为有效快速地识别农田多条垄线以实现农业机器人视觉导航与定位,提出一种基于机器视觉的田间多垄线识别与定位方法。使用VC++ 6.0开发了农业机器人视觉导航定位图像处理软件。该方法通过图像预处理获得各垄行所在区域,使用垂直投影法提取出导航定位点。根据摄像机标定原理与透视变换原理,计算出各导航定位点世界坐标。然后结合垄线基本平行的特征,使用改进的基于Hough变换的农田多垄线识别算法,实现多垄线的识别与定位。使用多幅农田图像进行试验并在室内进行了模拟试验。处理一幅320×240的农田图像约耗时219.4 ms,室内试验各垄线导航距与导航角的平均误差分别为2.33 mm与0.3°。结果表明,该方法能有效识别与定位农田的多条垄线,同时算法的实时性也能满足 要求。     

基于尺度不变特征转换算法的棉花双目视觉定位技术

为了给采棉机器人提供运动参数,设计了一套双目视觉测距装置以定位棉株。对获取的左右棉株图像进行经背景分割等预处理。求取其在8个尺度下的高斯图,通过尺度不变特征转换SIFT(scale-invariant feature transform)算法在相邻高斯差分图中提取出SIFT关键点;计算每个高斯图中关键点邻域内4×4个种子点的梯度模值,得到128维特征向量。分割右图关键点构成的128维空间,得到二叉树;利用最优节点优先BBF(best bin first)算法在二叉树中寻找到172个与左图对应的粗匹配点。由随机采样一致性RANSAC(random sample consensus)算法求出基础矩阵F,恢复极线约束,剔除误匹配,得到分布在11朵棉花上的151对精匹配。结合通过标定和F得到的相机内外参数,最终重建出棉花点云的三维坐标。结果表明,Z轴重建结果比较接近人工测量,平均误差为0.039 3 m,能够反映棉花间的相对位置。     

机器视觉系统在桔瓣质量检测中的应用

开发了一套罐装线实时在线质量检测视觉系统，用于装罐前桔瓣上头发等细长形杂质检测，以保证产品质量。硬件系统采用了6台彩色CCD摄像头，两台计算机的处理结构。软件系统依据杂质和背景在颜色分布及形状大小等特征上的差异进行分离，其核心是一种用于二值图像特征区域提取的新型连通算子—面积重构算子，利用该算子平滑图像时不破坏对象轮廓完整的优点，结合改进的区域生长、区域消减等算法，形成了一套完整的检测算法。试验显示系统处理能力约30片/s，错误率仅2%。该系统能满足实时生产准确性和在线处理的要求，为其实用化、商品化奠定了基础。     

基于LIO-SAM建图和激光视觉融合定位的温室自主行走系统

为解决传统导航方案在温室内无法应对光照变化大、作物行间距窄、接收GPS信号差等问题,该研究提出了基于即时定位与地图构建技术的激光视觉融合式自主导航算法。该系统利用三维激光雷达VLP-16(Velodyne LiDAR,VLP-16)和惯性测量单元获取温室环境信息,采用基于紧耦合的雷达惯导定位建图（tightly-coupled lidar inertial odometry via smoothing and mapping,LIO-SAM）算法构建导航地图,基于轮式里程计和视觉里程计采用扩展卡尔曼滤波器算法实现局部定位,融合激光点云配准算法和自适应蒙特卡洛定位算法实现全局定位。同时,在自主行走系统应用A*算法规划全局路径和动态窗口算法规划局部路径,从而实现自主导航。试验结果表明,LIO-SAM算法构建的温室导航地图最大相对误差、最大绝对误差和均方根误差分别为9.9%、0.081和0.063 m,在温室内改进后的定位算法横向偏差小于0.020 m,纵向偏差小于0.090 m;当自主行走系统以0.15、0.30和0.50 m/s的速度运行时,横向偏差、纵向偏差和航向偏角的平均值分别小于0...     

融合毫米波雷达与机器视觉的田间道路视觉引导线提取

针对传统机器视觉算法难以获取准确视觉引导线的问题,该研究提出了一种利用深度学习算法获取视觉引导线的方法,并将毫米波雷达探测的目标运动状态信息考虑到视觉引导线的提取中,以安全避开障碍物。首先通过数据预处理方法过滤部分雷达目标数据,再利用多目标跟踪算法过滤干扰数据并对动态目标持续跟踪,为后续数据融合提供准确的雷达目标数据。然后制作田间道路环境数据集,搭建基于Deeplabv3 plus的改进语义分割网络。继而利用时间戳对齐和基于最小二乘法的坐标变换实现毫米波雷达数据与视觉数据在时间与空间维度的同步。最后基于无动态目标状态信息和有动态目标状态信息两种情况提出了相应的视觉引导线提取策略,进行相关试验测试了视觉引导线提取方法的效果。相比于人工测量的真实道路中点,在无动态目标场景下提取的视觉引导线的平均误差为1.60～9.20像素;而在有动态目标的场景下,能够成功获取避障的视觉引导线。研究结果有助于提升丘陵山区农业机械的智能化水平。     

菠萝采收机械低成本双目视觉平台搭建与田间试验

摘要：视觉系统是菠萝采摘机械的关键部件之一,可为采摘终端提供待采果实的位置导航信息。考虑到菠萝果形较大,易于识别,以及系统应用于农业领域,需尽可能降低成本。该研究选取双目视觉技术,采用低成本的CMOS视觉传感器,辅以三脚架、双目云台,以及计算机、软件系统,搭建低成本双目视觉标定平台;研究了标定模型及流程,并基于C++和OpenCV v1.1环境以及Matlab标定工具箱的软件环境平台,采用张正友标定算法,分别对视觉传感器进行标定试验,选取了适合本平台的标定方法。基于此平台和开发的菠萝果实识别算法,在湛江菠萝田间进行果实深度测量试验发现,果实测试距离小于1 m时,深度误差在6～8 cm范围内,经软件算法校正后,误差控制在2～3 cm范围内,该平台试验结果良好,表明低成本试验平台具有可行性。该研究可为菠萝采摘机器人视觉系统的开发提供参考。     

基于Sylvester方程变形的荔枝采摘机器人手眼标定方法

针对视觉荔枝采摘机器人的Eye-in-Hand视觉与机器人关联方式的手眼标定问题,该文提出一种基于优化的求解齐次变换矩阵方程的手眼标定方法。该方法通过机器人带动其臂上的双目相机从多个位置观测标定板,使用Sylvester方程变形对手眼标定近似方程线性化,再对简单的初值进行优化计算,最终得到精确的标定结果。该方法的软件用C++/Open CV开发实现,并进行了多个试验。试验结果表明,视觉与机器人关联后,定位误差与机器人运动次数相关,当距目标1 m左右,静态时的视觉系统误差均值为0.55 mm;动态工作时,视觉关联机器人重复定位误差的均值为2.93 mm,标准差为0.45 mm,符合具有容错功能的视觉荔枝采摘机器人的实际使用需求。使用基于Sylvester方程变形的手眼标定方法标定的视觉荔枝采摘机器人,在野外环境下,总体采摘成功率达到76.5%,视觉系统成功识别、定位采摘点的情况下,采摘成功率达92.3%。     

基于全方位视觉传感器的农业机械定位系统

利用全方位视觉传感器能提供传感器周围360°范围内信息的图像,通过全方位图像可准确获取物体方向角,基于该特点研发一种可以实现农业机械自动导航的定位系统。该系统硬件主要由全方位视觉传感器、人工标识、PC、PC软件和作业车构成。该计算算法首先通过全方位视觉系统的校正,得出相机的成像投影中心;通过图像处理提取人工标识的位置,估算出标识相对于相机的方向角,然后根据圆周角定理和几何关系计算出相机的位置来完成农业机械的定位。在面积为5×3 m2的水泥地面和白炽灯光的实验室中进行试验,平均选取10个位置进行试验,试验结果显示估算点和选取点间距离的平均误差小于3 cm。研究证明该定位系统是可行的。     

丘陵山区田间道路自主行驶转运车及其视觉导航系统研制

自然条件的限制使得丘陵山区农产品和物资的田间转运难以实现高安全性的机械化作业。为此,该文研制了一种在丘陵山区田间道路上自主行驶的转运车及其视觉导航系统。该系统采用RTK-GNSS(real-timekinematic-global navigationsatellitesystem,实时动态-全球卫星导航系统)进行路网信息采集、实时定位和路径规划,利用机器视觉进行田间道路识别并提取路径跟踪线;田间道路非路口区域由机器视觉系统进行导航,路口区域采用RTK-GNSS实时定位进行导航。全局路径规划中对A*算法估价函数进行改进,将路口节点处的道路曲率及道路起伏信息引入代价函数。图像处理中强化道路上的阴影处理和信息融合,实现道路与背景的准确分割;然后将道路区域分块求取形心点,拟合后生成道路的虚拟中线作为局部路径的导航线。路径规划仿真表明,改进的A*算法能融合丘陵山地道路起伏变化的特征,规划的路径更合理。转运车自主行驶测试表明,在直线路径、多曲率复杂路径以及地形起伏路径3种工况下,自主行驶轨迹与实际道路中线的平均偏差分别为0.031、0.069和0.092 m,最大偏差分别为0.133、0.195和0.212 m;转运车沿道路中线自主行驶的平均相对误差分别为5.16%、11.5%和15.3%,满足田间道路转运车自主行驶的安全要求。     

低对比度条件下联合收割机导航线提取方法

针对强光照下成熟小麦已收割区域和未收割区域对比度低、收割边界获取难度大的问题,该文提出了一种基于区域生长算法的联合收割机导航线精确提取方法。对摄像头采集的作物收割图像,利用区域生长算法分割出图像中未收割区域。生长阈值通过对图像灰度直方图高斯多峰拟合进行自适应计算。对分割得到的二值图像进行形态学处理,获取作物已收割和未收割区域分界线,然后采用最小二乘法拟合收割机作业导航线。试验结果表明:在小麦已收割和未收割区域对比度很低的情况下,所提方法能够精确地提取出小麦收获边线,并得到收割机作业导航线,与人工标定导航线夹角平均误差小于1.21°,可以为联合收割机的自动导航研究提供参考;处理一张900×1 200像素的图像时长约0.41 s,基本满足联合收割机导航作业的实时性要求。与传统方法对比发现,该文方法不易受作物生长密度和麦茬的干扰,导航线的提取精度更高,单幅图像的处理时间略有增加,但基本满足实时性作业要求。     

基于里程信息融合的株间锄草刀定位数据优化方法

为提高株间锄草刀定位精度、降低机器视觉受外界因素的影响,该文提出里程信息融合机器视觉的方法对锄刀定位数据进行优化。通过分析定位数据校正和视觉滞后补偿的原理,设计了模糊逻辑校正器,通过模糊规则将模糊校正系统简化为单输入单输出形式,采用Mamdani模糊推理方法获得视觉数据可信度决策表,将可信度作为加权值生成校正锄刀定位数据,并提出采用实时里程信息作为视觉滞后补偿量的方法,给出补偿公式。田间刀苗距优化静态试验表明,视觉刀苗距误差为9.88 mm,优化后刀苗距误差为6.06 mm;动态试验表明,视觉数据出错率为4.8%～6.6%,刀苗距变化曲线显示,优化方法可有效过滤视觉坏点或不稳定的数据点,将视觉滞后纳入衡量标准,不同车速下动态优化后刀苗距平均误差为5.30～7.08 mm,较优化前降低了25%左右。研究结果表明,锄草刀定位数据优化方法可有效提高机器视觉静态和动态获取刀苗距的精度。该研究为提高株间锄草技术的锄刀定位精度提供了参考。     

农业机械全方位视觉定位系统的定位算法

农业机械全方位视觉定位系统根据标识方位角角度估算传感器相对于标识坐标系的绝对位置,包括系统校正、除噪、标识特征提取、方位角度估算和定位算法,其中定位算法是实现农业机械全方位视觉定位系统的关键部分。该文主要研究了4个标识和3个标识的定位算法,并通过室外30m×30m平地上的定点试验和传感器倾斜试验验证定位精度及传感器倾斜对定位精度的影响。试验结果表明,试验点坐标的估算值与实测值之间距离的均方根误差与平均绝对误差分别为14.75和14.06cm,最大绝对误差为25.72cm;倾斜角度越大,对定位精度的影响越大。研究表明本文定位算法是可行的,且算法简单、运行速度快;实用中当传感器倾斜角度大于5°或者凹凸不平明显的作业环境中,有必要考虑传感器倾斜造成的定位误差的补偿。     

基于双目立体视觉的机械手移栽穴盘定位方法

为了解决自动化机械手移栽过程中穴盘放置偏斜和底部局部"凸起"而引起的移栽效果不理想的问题,为机械手提供穴盘精准坐标,对穴盘准确定位方法进行研究。首先,根据机械手移栽特点提出穴盘定位总体方法及图像获取手段。其次,利用单目相机获取的图像采用像素标记法和Radon变换法计算穴盘中心坐标和角度,完成穴盘平面定位。再次,对双目相机获取的图像采用SIFT(scale invariant feature transform)特征匹配的算法获得匹配点对坐标,并提出区域整合匹配点的方法。最后,利用整合的区域双目匹配点坐标配合相机标定结果重建匹配点的三维世界坐标,并且与穴盘平面定位结果相结合完成穴盘空间位置重构。试验结果表明,提出的穴盘定位方法能够真实地恢复穴盘空间姿态,中心像素横纵坐标相对误差分别在(-7,+7)和(-6,+7)像素内,角度检测值与实测值相对误差值在(-0.51°,+0.53°)内,利用SIFT特征匹配算法匹配双目图像,在2×4区域内对8对整合匹配点进行三维世界坐标重建,其中7个坐标的三个维度与测量值相对误差在2 mm内,1个坐标与测量值相对误差为4.6 mm内。该方法所应用的算法成熟,可以满足机械手移栽实际应用处理要求。     

自然光照条件下采摘机器人果实识别的表面阴影去除方法

有效的阴影检测和去除算法会大大提高自然环境下果实识别算法的性能,为农业智能化提供技术支持。该研究采用超像素分割的方法,将一张图像分割成多个小区域,在对图像进行超像素分割的基础上,对自然光照下的果园图像阴影区域与非阴影区域进行对比分析,探索8个自定义特征用于阴影检测。然后采用SVM的方法,结合8个自主探索的自定义特征,对图像中每个超像素分割的小区域进行检测,判断每个小区域是否处于阴影中,再使用交叉验证方法进行参数优化。根据Finlayson的二维积分算法策略,对检测的每一个阴影区域进行阴影去除,获得去除阴影后的自然光照图像。最后进行阴影检测的识别准确性试验,试验结果表明,本研究的阴影检测算法的平均识别准确率为83.16%,经过阴影去除后,图像的阴影区域亮度得到了提高,并且整幅图像的亮度更为均匀。该研究可为自然环境下机器人识别果实及其他工农业应用场景提供技术支持。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。     

基于视觉伺服的草莓采摘机器人果实定位方法

为解决基于手眼系统的视觉伺服方法在草莓采摘机器人应用中存在的视觉信息反馈延迟大、频率低以及深度信息无法确定等带来的定位耗时长、精度低的问题,采用摄像机曝光信号触发控制卡进行高速位置锁存,结合位置传感器的反馈信息,来减少定位耗时;采用基于运动恢复结构的方法,提高果实采摘参数的精度。在垄坡和摄像机像平面的夹角为±10°范围内的情况下,针对包含1~3粒成熟草莓的果实域,采用直角坐标式机械臂草莓采摘机器人样机进行了定位试验。试验结果表明:定位时间在0.633~0.886 s之间;草莓深度信息的相对误差在-4.34%~0.95%范围内。     

自然环境下葡萄采摘机器人采摘点的自动定位

针对葡萄果梗颜色复杂多变、轮廓不规则等影响因素使得采摘机器人难以准确对采摘点进行定位的问题,该文提出一种基于改进聚类图像分割和点线最小距离约束的采摘点定位新方法。首先通过分析葡萄图像的颜色空间,提取最能突显夏黑葡萄的HSI色彩空间分量H,运用改进的人工蜂群优化模糊聚类方法对葡萄果图像进行分割;然后对分割图像进行形态学去噪处理,提取最大连通区域,计算该区域质心、轮廓极值点、外接矩形;再根据质心坐标与葡萄簇边缘信息确定采摘点的感兴趣区域,在区域内进行累计概率霍夫直线检测,求解所有检测得出的直线到质心之间的距离,最后选取点线距离最小的直线作为采摘点所在线,并取线段中点坐标作为采摘点。以从晴天顺光、晴天遮阴、阴天光照下采集的300幅夏黑葡萄进行分类试验,结果表明,该方法的采摘点定位准确率达88.33%,平均定位时间为0.3467 s,可满足采摘机器人对采摘点的定位需求,为葡萄采摘机器人提供了一种新的采摘点求解方法。