基于双目立体视觉的番茄定位

为提高番茄采摘机器人视觉系统的定位精度,该文提出了一种基于组合匹配方法及深度校正模型的双目立体视觉测距方法。该方法在形心匹配的基础上,将形心匹配得到的视差值作为区域匹配时设定视差范围的参考值。这样可以减小区域匹配计算量及误匹配的概率。区域匹配后,利用三角测距原理得到番茄区域对应的深度图,并将区域的深度均值作为其深度维的坐标。试验发现定位误差与测量距离间具有很好的线性相关性。通过回归分析,建立了线性回归模型,并对深度测量结果进行校正。结果表明,工作距离小于650mm时,定位误差约为-7～5mm,工作距离小于1050mm时,定位误差约为±10mm,可满足番茄采摘机器人视觉系统在大多数采摘作业环境下的工作要求。     

基于双目立体视觉技术的成熟番茄识别与定位

研究了基于双目立体视觉技术的成熟番茄的识别与定位方法,获取了成熟番茄的位置信息,用于指导温室内成熟番茄的自动化采摘作业.该方法利用成熟番茄与背景之间颜色特征的差异进行图像分割来识别成熟番茄;根据图像分割的结果,用形心匹配方法获取番茄中心的位置;然后根据相邻区域像素点灰度的相关性,利用区域匹配方法计算番茄表面各点的深度信息.使用限制候选区域和两次阈值分割的方法减少计算量,提高了计算精度.实验结果表明,工作距离小于550 mm时,番茄深度值的误差约为±15 mm.利用该测量方法可以实现成熟番茄位置信息的获取,测量精度较高.     

基于机器视觉的番茄多目标提取与匹配

果实的提取和匹配是番茄采摘机器人进行番茄定位和采摘的基础。为解决获取图像中多个成熟番茄粘连或被遮挡的情况下果实的提取和匹配问题,该文提出了使用局部极大值法和随机圆环变换检测圆算法结合进行目标提取,再使用SURF算法进行目标匹配的算法。该方法首先基于颜色对番茄进行分割提取,然后使用局部极大值法对番茄个数进行估计,结合番茄区域面积进行半径估计,之后通过随机圆环变换算法检测番茄中心和半径进行目标定位,再使用SURF算法进行双目目标匹配的算法。该方法在一定程度上解决了复杂自然环境下,多个番茄的提取和图像特征匹配的问题,并通过试验验证了其有效性和准确性,可为采摘机器人目标识别技术的研究提供参考。     

面向温室移动机器人的无监督视觉里程估计方法

针对温室移动机器人自主作业过程中,对视觉里程信息的实际需求及视觉里程估计因缺少几何约束而易产生尺度不确定问题,提出一种基于无监督光流的视觉里程估计方法。根据双目视频局部图像的几何关系,构建了局部几何一致性约束及相应光流模型,优化调整了光流估计网络结构;在网络训练中,采用金字塔层间知识自蒸馏损失,解决层级光流场缺少监督信号的问题;以轮式移动机器人为试验平台,在种植番茄温室场景中开展相关试验。结果表明,与不采用局部几何一致性约束相比,采用该约束后,模型的帧间及双目图像间光流端点误差分别降低8.89%和8.96%;与不采用层间知识自蒸馏相比,采用该处理后,两误差则分别降低11.76%和11.45%;与基于现有光流模型的视觉里程估计相比,该方法在位姿跟踪中的相对位移误差降低了9.80%;与多网络联合训练的位姿估计方法相比,该误差降低了43.21%;该方法可获得场景稠密深度,深度估计相对误差为5.28%,在1 m范围内的位移平均绝对误差为3.6 cm,姿态平均绝对误差为1.3o,与现有基准方法相比,该方法提高了视觉里程估计精度。研究结果可为温室移动机器人视觉系统设计提供技术参考。     

农业机器人视觉传感系统的实现与应用研究

论述了农业机器人视觉传感系统的主要实现技术和当前的应用现状,包括基于视觉传感原理的距离检测技术,基于视觉传感原理的工作对象特征识别技术和基于视觉传感原理的运动导航技术.基于双目立体视觉的测距方法可应用于葡萄和番茄采摘机器人,配备激光光源和红外光源的测距系统可在室外有效抵抗日光变化对检测结果的影响.几何形状、灰度级、颜色,尤其是农产品表面的反射光谱特性,可以用于农业机器人识别操作对象.人工路标方法是实现农业机器人视觉导航的简单方法,另外,直接基于田间作物在空间排列的特征也可实现农业机器人的视觉导航.最后讨论了农业机器人视觉传感系统的未来发展趋势.     

农业机器人视觉传感系统的实现与应用研究进展

论述了农业机器人视觉传感系统的主要实现技术和当前的应用现状，包括基于视觉传感原理的距离检测技术，基于视觉传感原理的工作对象特征识别技术和基于视觉传感原理的运动导航技术。基于双目立体视觉的测距方法可应用于葡萄和番茄采摘机器人，配备激光光源和红外光源的测距系统可在室外有效抵抗日光变化对检测结果的影响。几何形状、灰度级、颜色，尤其是农产品表面的反射光谱特性，可以用于农业机器人识别操作对象。人工路标方法是实现农业机器人视觉导航的简单方法，另外，直接基于田间作物在空间排列的特征也可实现农业机器人的视觉导航。最后讨论了农业机器人视觉传感系统的未来发展趋势。     

大视场下荔枝采摘机器人的视觉预定位方法

机器人采摘荔枝时需要获取多个目标荔枝串的空间位置信息,以指导机器人获得最佳运动轨迹,提高效率。该文研究了大视场下荔枝采摘机器人的视觉预定位方法。首先使用双目相机采集荔枝图像;然后改进原始的YOLOv3网络,设计YOLOv3-DenseNet34荔枝串检测网络;提出同行顺序一致性约束的荔枝串配对方法;最后基于双目立体视觉的三角测量原理计算荔枝串空间坐标。试验结果表明,YOLOv3-DenseNet34网络提高了荔枝串的检测精度与检测速度;平均精度均值(mean average precision,m AP)达到0.943,平均检测速度达到22.11帧/s。基于双目立体视觉的荔枝串预定位方法在3 m的检测距离下预定位的最大绝对误差为36.602 mm,平均绝对误差为23.007 mm,平均相对误差为0.836%,满足大视场下采摘机器人的视觉预定位要求,可为其他果蔬在大视场下采摘的视觉预定位提供参考。     

基于SURF算法的绿色作物特征提取与图像匹配方法

由于田间环境的复杂性,绿色作物特征提取与匹配仍然是基于双目视觉技术农田作物三维信息获取急需解决的关键技术之一。该文首先在RGB空间进行图像分割滤波处理。然后,采用SURF算法旋转不变性分两步获取绿色作物特征点对:第一步采用Hessian矩阵检测作物特征点,运用非极大值抑制法和插值运算寻找、定位极值点;第二步确定特征点主方向,采用描述算子进行特征点提取。最后,运用最近距离比次近距离法进行特征点匹配,并采用全约束条件滤除错误的匹配点对。同时将SURF和SIFT法进行对比分析,通过对不同光照、土壤的田间条件下芥蓝、芹菜、白菜13组图像进行试验,结果表明采用SUFR和SIFT法绿色作物特征提取率均值分别为1.2%、3.3%,双目视觉系统左、右作物图像特征正确匹配率的均值分别为94.8%、92.4%,时间消耗均值分别为4.6s、4.8s。采用SURF优越于采用SIFT法,这为进一步进行农业机械3D视觉导航或基于无线传感器网络的田间作物在线三维信息准确获取提供可借鉴思路和方法。     

基于自监督学习的番茄植株图像深度估计方法

深度估计是智能农机视觉系统实现三维场景重建和目标定位的关键。该文提出一种基于自监督学习的番茄植株图像深度估计网络模型,该模型直接应用双目图像作为输入来估计每个像素的深度。设计了3种面向通道分组卷积模块,并利用其构建卷积自编码器作为深度估计网络的主体结构。针对手工特征衡量2幅图像相似度不足的问题,引入卷积特征近似性损失作为损失函数的组成部分。结果表明:基于分组卷积模块的卷积自编码器能够有效提高深度估计网络的视差图精度;卷积特征近似性损失函数对提高番茄植株图像深度估计的精度具有显著作用,精度随着参与损失函数计算的卷积模块层数的增加而升高,但超过4层后,其对精度的进一步提升作用不再明显;当双目图像采样距离在9.0 m以内时,该文方法所估计的棋盘格角点距离均方根误差和平均绝对误差分别小于2.5和1.8 cm,在3.0 m以内时,则分别小于0.7和0.5 cm,模型计算速度为28.0帧/s,与已有研究相比,2种误差分别降低了33.1%和35.6%,计算速度提高了52.2%。该研究可为智能农机视觉系统设计提供参考。     

基于尺度不变特征转换算法的棉花双目视觉定位技术

为了给采棉机器人提供运动参数,设计了一套双目视觉测距装置以定位棉株。对获取的左右棉株图像进行经背景分割等预处理。求取其在8个尺度下的高斯图,通过尺度不变特征转换SIFT(scale-invariant feature transform)算法在相邻高斯差分图中提取出SIFT关键点;计算每个高斯图中关键点邻域内4×4个种子点的梯度模值,得到128维特征向量。分割右图关键点构成的128维空间,得到二叉树;利用最优节点优先BBF(best bin first)算法在二叉树中寻找到172个与左图对应的粗匹配点。由随机采样一致性RANSAC(random sample consensus)算法求出基础矩阵F,恢复极线约束,剔除误匹配,得到分布在11朵棉花上的151对精匹配。结合通过标定和F得到的相机内外参数,最终重建出棉花点云的三维坐标。结果表明,Z轴重建结果比较接近人工测量,平均误差为0.039 3 m,能够反映棉花间的相对位置。     

基于特征点提取匹配的蝗虫切片图像的拼接和修复方法

由于环境和切片本身特性的影响,试验中获取的蝗虫切片总是不完整或者带有褶皱的。针对这一问题,提出了一种基于图像匹配的蝗虫切片拼接和修复方法,以序列切片中缺损切片的邻近切片图作为参考对象,对缺损切片图像进行拼接和修复。首先对切片进行小波降噪,降低噪声对匹配的影响;然后用尺度不变特征变换(scale.invariant feature transform,SIFT)算法和快速鲁棒特征(speed-up robust features,SIJRF)算法获取切片特征点并生成特征向量,完成切片的初始特征点匹配;随后利用随机采样一致(random sample consensus,RANSAC)算法进行匹配矫正,剔除匹配点对中的误匹配,并利用最小二乘法求解出单应性矩阵;最后用正确的匹配点对和单应性矩阵完成蝗虫切片的拼接,利用求得的空间映射模型找到褶皱部分相应的匹配域,完成对缺损部分的修复。试验表明:提出的切片拼接和修复方法的所提取的特征点的正确匹配率能够达到72.2%,并且运行速度以及匹配效果都能在一定程度上满足切片修复的要求,为后面进行蝗虫切片褶皱打开以及蝗虫体的三维重建提供了技术参考。     

基于尺度不变特征转换算子的水果表面图像拼接方法

水果全表面图像信息是否完整,直接影响水果表面颜色和缺陷检测的结果。该文提出了一种基于尺度不变特征转换(SIFT,scale invariant feature transform)算子的图像拼接方法,实现多视角水果图像的拼接以获取完整的水果表面信息。首先以15°固定间隔旋转水果以获取各视角下的连续图像,在图像2R-G-B通道下实现图像目标和背景分离,并对目标图像进行灰度直方图均衡化以增强其纹理信息,有利于特征点的提取。运用SIFT算法提取图像特征点,因为特征向量数量多、维数高,采用普通的K-D树算法搜索匹配点将消耗大量时间,因此将图像划分为16个区域,通过多次试验可知中间4个区域为特征点是最容易匹配的区域,这样就缩小匹配点可能存在的区域。采用极线几何约束法和改进型随机抽样一致(random sample consensus,RANSAC)算法以提高图像拼接精度,减少匹配时间。根据平移矩阵,对前后图像进行拼接,从而实现水果表面图像的完整拼接。试验结果表明:该算法平均匹配精度提高35.0%,平均拼接时间为2.5 s,较传统K-D树算法缩短67.8%时间,拼接效果还原率为93.9%。该文算法具有一定的尺度、旋转以及仿射变换不变性,适用于随机呈现的不同姿态球状水果图像拼接。该研究可为基于机器视觉的农产品品质检测和等级划分提供科学参考。     

利用融合高度与单目图像特征的支持向量机模型识别杂草

除草是保证农作物高产的必要工作。针对机械化除草和智能喷药中存在的杂草识别问题,以2~5叶苗期玉米及杂草为研究对象,进行了融合高度特征与单目图像特征的杂草识别方法研究。首先从单目图像中提取16个形态特征和2个纹理特征;然后基于双目图像,提出了针对植株的高度特征提取方法,所得高度特征与实际测量值间误差在±12 mm以内;利用max-min ant system算法对形态特征进行优化选择,将形态特征减少到6个,有效减少数据量62.5%,并与纹理和高度特征进行融合;将2~5叶玉米幼苗的可除草期划分为3个阶段,分别构建融合高度特征与单目图像特征的SVM识别模型,并与相应不含高度特征模型进行对比。经测试,3个阶段模型的识别准确率分别为96.67%,100%,98.33%;平均识别准确率达98.33%。不含高度特征模型的识别准确率分别为93.33%,91.67%,95%;平均识别准确率为93.33%。结果表明,融合高度特征与单目图像特征的SVM识别模型优于不含高度特征模型,平均识别准确率提高了5百分点。该方法实现了高准确率的杂草识别,研究结果为农业精确除草的发展提供参考。     

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。     

基于双目立体视觉的机械手移栽穴盘定位方法

为了解决自动化机械手移栽过程中穴盘放置偏斜和底部局部"凸起"而引起的移栽效果不理想的问题,为机械手提供穴盘精准坐标,对穴盘准确定位方法进行研究。首先,根据机械手移栽特点提出穴盘定位总体方法及图像获取手段。其次,利用单目相机获取的图像采用像素标记法和Radon变换法计算穴盘中心坐标和角度,完成穴盘平面定位。再次,对双目相机获取的图像采用SIFT(scale invariant feature transform)特征匹配的算法获得匹配点对坐标,并提出区域整合匹配点的方法。最后,利用整合的区域双目匹配点坐标配合相机标定结果重建匹配点的三维世界坐标,并且与穴盘平面定位结果相结合完成穴盘空间位置重构。试验结果表明,提出的穴盘定位方法能够真实地恢复穴盘空间姿态,中心像素横纵坐标相对误差分别在(-7,+7)和(-6,+7)像素内,角度检测值与实测值相对误差值在(-0.51°,+0.53°)内,利用SIFT特征匹配算法匹配双目图像,在2×4区域内对8对整合匹配点进行三维世界坐标重建,其中7个坐标的三个维度与测量值相对误差在2 mm内,1个坐标与测量值相对误差为4.6 mm内。该方法所应用的算法成熟,可以满足机械手移栽实际应用处理要求。     

基于立体视觉的动态鱼体尺寸测量

获取渔业养殖鱼类生长态势的人工测量方法费时费力，且影响鱼的正常生长。为了实现水下鱼体信息动态感知和快速无损检测，该研究提出立体视觉下动态鱼体尺寸测量方法。通过双目立体视觉技术获取三维信息，再通过Mask-RCNN（Mask Region Convolution Neural Network）网络进行鱼体检测与精细分割，最后生成鱼表面的三维点云数据，计算得到自由活动下多条鱼的外形尺寸。试验结果表明，长度和宽度的平均相对误差分别在5%和9%左右。该研究满足了水产养殖环境下进行可视化管理、无接触测量鱼体尺寸的需要，可以为养殖过程中分级饲养和合理投饵提供参考依据。     

苹果采摘机器人快速跟踪识别重叠果实

为解决采摘机器人在运动状态下对重叠果实的识别问题,减少采摘过程处理的时间,对重叠果实的快速跟踪识别进行了研究。首先,对采集到的第1幅图像进行分割并去噪,之后通过计算圆内的点到轮廓边缘最小距离的极大值确定圆心的位置,计算圆心到轮廓边缘距离的最小值确定半径,通过圆心与半径截取后续匹配的模板,经试验证明该算法能较准确地找到重叠果实的圆心与半径。然后,确定连续采集的10幅图像的圆心,根据每幅图像圆心的位置对机器人的运动路径进行拟合、预判、综合半径与预判路径确定下一次图像处理的范围。最后,采用快速归一化互相关匹配对重叠果实进行匹配识别。试验证明,经过改进后的算法匹配识别时间与原算法相比,在没有进行预判的情况下匹配识别的时间为0.185 s,经过预判之后,匹配时间为0.133 s,减少了28.1%,采摘机器人的实时性得到了提高,能够满足实际需求。该研究可为苹果等类球形重叠果实的动态识别提供参考。     

基于Census变换的双目视觉作物行识别方法

针对基于双目视觉技术的作物行识别算法在复杂农田环境下,立体匹配精度低、图像处理速度慢等问题,该文提出了一种基于Census变换的作物行识别算法。该方法运用改进的超绿-超红方法灰度化图像,以提取绿色作物行特征;采用最小核值相似算子检测作物行特征角点,以准确描述作物行轮廓信息;运用基于Census变换的立体匹配方法计算角点对应的最优视差,并根据平行双目视觉定位原理计算角点的空间坐标;根据作物行生长高度及种植规律,通过高程及宽度阈值提取有效的作物行特征点并检测作物行数量;运用主成分分析法拟合作物行中心线。采用无干扰、阴影、杂草及地头环境下的棉田视频对算法进行对比试验。试验结果表明,对于该文算法,在非地头环境下,作物行中心线的正确识别率不小于92.58%,平均偏差角度的绝对值不大于1.166°、偏差角度的标准差不大于2.628°;图像处理时间的平均值不大于0.293 s、标准差不大于0.025 s,能够满足田间导航作业的定位精度及实时性要求。     

基于Rank变换的农田场景三维重建方法

农田场景的三维重建对于研究远程监测作物的生长形态、预测作物产量、识别田间杂草等都具有重要作用。为解决农田场景图像三维重建困难、立体匹配精度较差等问题,该文提出了一种基于Rank变换的农田场景三维建模方法。该方法运用加权平均法灰度化图像,以保留农田场景的完整特征;以灰度图像的Rank变换结果作为匹配基元,采用基于归一化绝对差和测度函数的区域匹配算法获取场景的稠密视差图;根据平行双目视觉成像原理计算场景的空间坐标,并生成三维点云图;依据所得场景的三维坐标,对场景中感兴趣区域实现三维重建。采用标准视差计算测试图像验证立体匹配算法精确性,平均误匹配率较传统的绝对差和函数算法降低约5.63%。运用不同环境下的棉田场景图像测试三维重建方法,试验结果表明,在6.8 m的景深范围内,作物及杂草的高度、宽度等几何参数计算值与实际测量值接近,各项指标的平均相对误差为3.81%,验证了三维重建方法的可靠性及准确性。