基于尺度不变特征转换算法的棉花双目视觉定位技术

为了给采棉机器人提供运动参数,设计了一套双目视觉测距装置以定位棉株。对获取的左右棉株图像进行经背景分割等预处理。求取其在8个尺度下的高斯图,通过尺度不变特征转换SIFT(scale-invariant feature transform)算法在相邻高斯差分图中提取出SIFT关键点;计算每个高斯图中关键点邻域内4×4个种子点的梯度模值,得到128维特征向量。分割右图关键点构成的128维空间,得到二叉树;利用最优节点优先BBF(best bin first)算法在二叉树中寻找到172个与左图对应的粗匹配点。由随机采样一致性RANSAC(random sample consensus)算法求出基础矩阵F,恢复极线约束,剔除误匹配,得到分布在11朵棉花上的151对精匹配。结合通过标定和F得到的相机内外参数,最终重建出棉花点云的三维坐标。结果表明,Z轴重建结果比较接近人工测量,平均误差为0.039 3 m,能够反映棉花间的相对位置。     

蔬菜穴盘苗自动补苗试验台穴孔定位与缺苗检测系统

为了精确获得蔬菜穴盘育苗空穴信息并为自动补苗提供依据,研制了蔬菜穴盘苗自动补苗试验台。利用该试验台获取了苗龄25、35 d的拟南介穴盘苗彩色图像,对彩色图像依次进行灰度化处理、Otsu阈值分割得到幼苗和穴盘二值图;对幼苗二值图进行开运算去除噪声,提取出幼苗特征图像;将穴盘二值图去除幼苗图像并去除噪声获得穴盘特征图像,依据穴盘特征图像分别在行、列上的像素统计峰值、峰宽及穴盘规格化结构,精确确定了穴孔边界;对穴孔内幼苗图像像素统计以判定是否空穴,结果表明:25、35 d拟南芥穴盘苗有苗穴孔与无苗穴孔内像素统计值差异极显著,空穴、有苗穴判断正确率均为100%,为穴盘苗空穴自动补苗提供了精确的幼苗信息与穴孔位置。     

基于SURF算法的绿色作物特征提取与图像匹配方法

由于田间环境的复杂性,绿色作物特征提取与匹配仍然是基于双目视觉技术农田作物三维信息获取急需解决的关键技术之一。该文首先在RGB空间进行图像分割滤波处理。然后,采用SURF算法旋转不变性分两步获取绿色作物特征点对:第一步采用Hessian矩阵检测作物特征点,运用非极大值抑制法和插值运算寻找、定位极值点;第二步确定特征点主方向,采用描述算子进行特征点提取。最后,运用最近距离比次近距离法进行特征点匹配,并采用全约束条件滤除错误的匹配点对。同时将SURF和SIFT法进行对比分析,通过对不同光照、土壤的田间条件下芥蓝、芹菜、白菜13组图像进行试验,结果表明采用SUFR和SIFT法绿色作物特征提取率均值分别为1.2%、3.3%,双目视觉系统左、右作物图像特征正确匹配率的均值分别为94.8%、92.4%,时间消耗均值分别为4.6s、4.8s。采用SURF优越于采用SIFT法,这为进一步进行农业机械3D视觉导航或基于无线传感器网络的田间作物在线三维信息准确获取提供可借鉴思路和方法。     

利用单目视觉获取钵苗移栽适合度信息的方法

钵苗在穴盘中的生长状态各异,钵苗移栽是育苗过程的关键环节。为提高移栽后钵苗成活率,解决出苗不齐和断苗等问题,需对被移栽钵苗的直立度和高度等适合度信息进行综合评价,筛选出符合移栽要求的钵苗。图像采集系统中的顶杆能够顶起穴盘中的钵苗旋转90°,相机采集钵苗转动90°前后2幅图像,图像RGB各通道灰度值概率直方图存在灰度集中区域。首先,采用24位RGB源图像转8位灰度图、中值滤波和灰度拉伸算法对图像进行预处理;然后,使用细化、水平膨胀和垂直腐蚀等图像处理算法,获取钵苗主茎秆的特征;最后,采用标准差为0.65的3×3高斯模板Harris角点检测算法提取每株钵苗主茎秆上的关键点信息,对其加权最小方差直线拟合获取拟合直线,直线的斜率换算后作为钵苗直立度的判定值,以每一株钵苗的全部角点y坐标最大差值的110%作为钵苗高度的判定值。只有钵苗的直立度和高度都满足各自评价指标要求才被认为适合移栽。试验获取了12幅图像共计30株辣椒钵苗在0和90°位置的直立度和高度,每幅图像处理算法平均耗时0.35 s。按直立度(45°α135°)和高度(H105 mm)评价指标判定,5株钵苗不适合移栽;2株钵苗的视觉检测结果与人工测量结果相反,视觉检测结果与人工测量结果之间的偏差率为6.67%。出现检测偏差的原因主要是钵苗叶对茎秆的遮挡和移栽机的振动使得钵苗在转动90°的前后与顶杆的相对位置发生了变化影响了人工和视觉测量的精度。该方法能够满足钵苗移栽机实时筛选工作的需求。     

采摘机械手对扰动荔枝的视觉定位

为了解决采摘机器人在自然环境中对扰动状态荔枝的视觉精确定位问题,该文分析机械手采摘过程中荔枝产生扰动的因素,设计制造了模拟荔枝振动的试验平台,该试验平台通过改变方向、振频、振幅等振动条件来模拟采摘过程中的扰动环境;结合振动平台运动参数,提出了双目立体视觉系统采集扰动状态的荔枝图像方法,在HSI颜色空间中对预处理后荔枝图像利用模糊C均值聚类法(FCM,fuzzyC-means)分割荔枝果实和果梗,然后利用Hough变换算法进行直线拟合确定有效的果梗采摘区域和采摘点,对多帧图像中采摘点坐标取平均值,然后进行三维重建确定空间采摘点坐标。荔枝扰动状态的视觉定位试验结果表明,空间定位深度值误差小于6cm,荔枝采摘机械手能实现有效采摘,该研究为机械手实际作业提供指导。     

利用照片重建技术生成坡面侵蚀沟三维模型

该文利用运动恢复结构(structure from motion,SFM)、多视图立体视觉(multi-view stereo,MVS)技术,提出了一种坡面侵蚀沟三维模型的快速重建方法。首先对普通相机拍摄的照片采用尺度不变特征变换(scale-invariant feature transform,SIFT)完成特征点的提取与描述,随机采样一致性算法(random sample and consensus,RANSAC)过滤掉最近邻匹配(nearest neighbor,NN)产生的误匹配点;然后通过SFM方法,迭代求解出相机矩阵和三维点坐标,用光束法平差(bundle adjustment,BA)进行非线性优化,确保误差的均匀分布和模型的精确;再使用基于面片的多视图立体视觉算法(patch-based multi-view stereo,PMVS),在局部光度一致性和全局可见性约束下,以SFM生成的稀疏点云为种子面片开始扩散,完成点云稠密重建。将照片快速重建方法获取的点云与地面激光扫描仪(terrestrial laser scanner,TLS)获取的点云及实测数据进行比较,结果表明,照片重建方法生成的点云稠密且能够完整展示侵蚀沟的发育形态,与TLS点云间的平均距离为0.0034 m,照片重建与三维激光扫描方法对侵蚀量的估算相对误差为8.054%,提取的特征线匹配率达89.592%。研究结果为侵蚀沟监测提供了参考依据。     

水稻钵苗机械手取秧有序移栽机的改进

提出了一种人机结合的全自动2自由度机械手式穴盘水稻钵苗有序移栽机械的设计方案，由人驾驶操作实现机器作业的路径规划，由单片机控制的机械手自动地完成穴盘水稻秧苗的有序抛栽作业。该文讨论了该机械的结构和工作原理，给出了利用光电式传感器和磁电式传感器自动检测秧苗到位的两种方案并作了室内试验，结果表明在一定的工作距离范围内，两种传感器均可准确地检测到穴盘秧苗的到位。对机械手整体工作方式和秧夹开启方式进行了改进设计，将2个独立工作的、运动轨迹相似的机械手改进设计为合用一个水平运动机构，将原来利用电磁铁开启秧夹的方式改为利用24VDC电机驱动凸轮来开启秧夹，使设计更加合理。分秧滑道是所设计的有序行抛移栽机械的另一关键部件，对其实物模型进行了室内土槽台车试验，结果表明所设计的一组7条曲线型分秧滑道完全可以满足水稻秧苗有序抛秧移栽的农艺要求。     

基于深度和彩色双信息特征源的Kinect植物图像拼接

图像拼接对制作全景图具有重要作用,传统SIFT(scale-invariant feature transform)图像拼接方法受光照不均匀或风吹影响,存在错位和缺失等情况。针对这一问题,该文提出一种基于Kinect彩色和深度双信息特征源的图像拼接方法。首先对获取的植株彩色图像采用SIFT算法进行特征点提取和特征点匹配,利用Kinect收集到的植株深度数据去除误匹配,采用RANSAC算法寻找投影变换矩阵,最后通过最佳缝合线算法进行图像融合。室内和室外试验结果表明,该文基于Kinect彩色和深度双信息特征源的图像拼接方法能够有效克服光照、风吹等环境因素的影响,避免了图像缺失、亮暗差异、重影等拼接错误,该文方法图像拼接时间较短,平均匹配准确率达96.0%,较传统SIFT图像拼接方法平均准确率提高了5.9%。     

基于目标像素变化的柚果单目测距算法

针对山地果园光线变化和枝叶遮挡干扰果实距离检测的问题,该研究提出一种利用目标区域像素数量变化预测成像距离的算法。根据单目测距原理和柚果成像特性,以具备尺寸和形状代表性的离树柚果样本为研究对象,在采摘作业距离范围内利用单一相机以固定间隔步距对果实某一侧面连续获取图像数据,用以建立并验证目标区域像素数量变化与成像距离变化之间的多元回归关系。随后将该算法应用于果园中树上柚果样本以检验其适用性,并讨论初始成像距离和步距取值对测距精度的影响。研究结果表明,在125 cm以内,6个树上柚果样本的测距相对误差均低于5%,满足采摘机械手目标定位的精度要求;初始成像距离对该算法测距精度具有显著影响。该研究单目测距算法满足果园环境中柚果目标与相机间距离检测需求,为相关采摘机械手的柚果目标识别提供了一种可行方案。     

花卉幼苗自动移栽机关键部件设计与试验

为实现盆栽花卉幼苗机械化移栽作业,减轻人工操作劳动强度,该文对花卉穴盘苗自动移栽机的关键部件进行设计。基于机器视觉技术获取花卉幼苗生长信息,采用区域目标像素统计的方法对幼苗生长状况进行评价,并对优质种苗进行定位,剔除缺苗、劣苗。为满足不同规格穴盘通用性和种苗无损操作要求,设计了弹簧驱动柔性可调的幼苗根部夹持手爪,通过对手爪的力学分析计算,优化其中关键零件的结构参数。移栽机控制系统由PC上位机扩展多路电机驱动节点,以满足多轴控制需要。基于自动移栽机试验平台,对各关键部件进行试验测试,结果表明系统移栽作业效率小于800工作循环/h时,夹持手爪能够对幼苗进行可靠操作,移栽成功率95%以上,此外视觉系统对幼苗识别准确率87%以上。     

基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位

无损收获是采摘机器人的研究难点之一,葡萄采摘过程中容易因机械碰撞而损伤果实,为便于机器人规划出免碰撞路径,提出一种基于双目立体视觉的葡萄包围体求解与定位方法。首先通过图像分割获得葡萄图像质心及其外接矩形,确定果梗感兴趣区域并在该区域内进行霍夫直线检测,通过寻找与质心距离最小的直线来定位果梗上的采摘点,运用圆检测法获取外接矩形区域内果粒的圆心和半径。然后运用归一化互相关的立体匹配法求解采摘点和果粒圆心的视差,利用三角测量原理求出各点的空间坐标。最后以采摘点的空间坐标为原点构建葡萄空间坐标系,求解葡萄最大截面,再将该截面绕中心轴旋转360°得到葡萄空间包围体。试验结果表明:当深度距离在1 000 mm以内时,葡萄空间包围体定位误差小于5 mm,高度误差小于4.95%,最大直径误差小于5.64%,算法时间消耗小于0.69 s。该研究为葡萄采摘机器人的防损采摘提供一种自动定位方法。     

基于Rank变换的农田场景三维重建方法

农田场景的三维重建对于研究远程监测作物的生长形态、预测作物产量、识别田间杂草等都具有重要作用。为解决农田场景图像三维重建困难、立体匹配精度较差等问题,该文提出了一种基于Rank变换的农田场景三维建模方法。该方法运用加权平均法灰度化图像,以保留农田场景的完整特征;以灰度图像的Rank变换结果作为匹配基元,采用基于归一化绝对差和测度函数的区域匹配算法获取场景的稠密视差图;根据平行双目视觉成像原理计算场景的空间坐标,并生成三维点云图;依据所得场景的三维坐标,对场景中感兴趣区域实现三维重建。采用标准视差计算测试图像验证立体匹配算法精确性,平均误匹配率较传统的绝对差和函数算法降低约5.63%。运用不同环境下的棉田场景图像测试三维重建方法,试验结果表明,在6.8 m的景深范围内,作物及杂草的高度、宽度等几何参数计算值与实际测量值接近,各项指标的平均相对误差为3.81%,验证了三维重建方法的可靠性及准确性。     

基于视觉里程计和自然信标融合的移动机器人定位算法

针对未知室内环境下移动机器人的定位问题,提出了一种基于单目视觉和自然信标融合的移动机器人定位算法。该方法采用普通摄像头和全景摄像头结合的方式进行定位。采用普通摄像头提取天花板特征,进行视觉里程计定位。全景普通摄像头提取周边环境及天花板信息,采用Harris-SIFT构建自然信标库,并且进行自然信标检测与识别。在两者的基础上,移动机器人进行实时定位。利用自然信标定位时,提出方向滤波器结合视觉里程计和惯导系统估计旋转角度,利用自然信标求取定位特征点,两者结合进行定位。该方法有效地结合了相对定位的快速性和绝对定位的准确性。在室内环境进行试验,其中自然信标定位在x,y方向的平均误差分别为38.66和31.54 mm。相比视觉里程计而言,结合自然信标定位的平均误差分别减小了32.53%和68.68%。融合视觉里程计的自然信标定位运算速度相比仅靠自然信标定位而言提高了约6倍左右,同时与视觉里程计定位处于同一数量级。试验结果表明相对于视觉里程计而言,所提算法大大提高了定位精度,同时不影响算法的实时性。     

基于立体视觉的动态鱼体尺寸测量

获取渔业养殖鱼类生长态势的人工测量方法费时费力,且影响鱼的正常生长。为了实现水下鱼体信息动态感知和快速无损检测,该研究提出立体视觉下动态鱼体尺寸测量方法。通过双目立体视觉技术获取三维信息,再通过Mask-RCNN（Mask Region Convolution Neural Network）网络进行鱼体检测与精细分割,最后生成鱼表面的三维点云数据,计算得到自由活动下多条鱼的外形尺寸。试验结果表明,长度和宽度的平均相对误差分别在5%和9%左右。该研究满足了水产养殖环境下进行可视化管理、无接触测量鱼体尺寸的需要,可以为养殖过程中分级饲养和合理投饵提供参考依据。     

基于Census变换的双目视觉作物行识别方法

针对基于双目视觉技术的作物行识别算法在复杂农田环境下,立体匹配精度低、图像处理速度慢等问题,该文提出了一种基于Census变换的作物行识别算法。该方法运用改进的超绿-超红方法灰度化图像,以提取绿色作物行特征;采用最小核值相似算子检测作物行特征角点,以准确描述作物行轮廓信息;运用基于Census变换的立体匹配方法计算角点对应的最优视差,并根据平行双目视觉定位原理计算角点的空间坐标;根据作物行生长高度及种植规律,通过高程及宽度阈值提取有效的作物行特征点并检测作物行数量;运用主成分分析法拟合作物行中心线。采用无干扰、阴影、杂草及地头环境下的棉田视频对算法进行对比试验。试验结果表明,对于该文算法,在非地头环境下,作物行中心线的正确识别率不小于92.58%,平均偏差角度的绝对值不大于1.166°、偏差角度的标准差不大于2.628°;图像处理时间的平均值不大于0.293 s、标准差不大于0.025 s,能够满足田间导航作业的定位精度及实时性要求。     

基于线结构光视觉的穴盘苗外形参数在线测量系统研制及试验

为了满足穴盘苗自动化分选的实际需求,该文设计了基于线结构光视觉的穴盘苗外形参数测量系统,实时获取穴盘苗图像信息,实现对其叶片面积和高度的在线测量。为充分突显目标与背景色彩差异,针对穴盘苗叶片和背景基质图像特征,利用最大类间方差动态阈值对2G-R-B 色差图像进行分割;以穴孔为单位进行区域标记和特征提取,分别计算幼苗叶片图像面积,排除明亮蛭石颗粒造成的椒盐噪声和劣苗叶片区域;根据 Cb、Cr 色彩分量特征提取在健康幼苗叶片区域的红色激光条像素坐标,拟合其分布中心线;基于线结构光视觉三维定位原理,根据幼苗叶片区域激光条中心线图像坐标,实现对穴盘苗高度的测量。试验结果表明,系统对直立姿态的穴盘苗高度测量精度为5 mm,在叶片面积测量评估方面可以满足穴盘苗筛选精度要求。     

基于机器视觉的株间机械除草装置的作物识别与定位方法

株间机械除草技术可进一步减少化学除草剂的使用,有利于环境保护和农业可持续发展.为实现智能化的株间机械除草装置自主避让作物并进入株间区域,该研究提出了一种株间机械除草装置的作物识别与定位方法.利用2G-R-B方法将作物RGB彩色图像进行灰度化,再选用Ostu法二值化、连续腐蚀和连续膨胀等方法对图像进行了初步处理.根据行像素累加曲线和曲线的标准偏差扫描线获得作物行区域信息,以作物行区域为处理对象,利用列像素累加曲线、曲线标准偏差和正弦波曲线拟合识别出作物,并结合二值图像中绿色植物连通域的质心获得作物位置信息.试验结果表明,该方法可以正确识别出作物并提供准确的定位信息,能适应不同天气状况、不同种类的作物,棉苗正确识别率为95.8%,生菜苗正确识别率为100%,该方法为株间机械除草装置避苗和除草自动控制提供了基本条件.     

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。     

基于有理多项式模型区域网平差的GF-1影像几何校正

2013年4月成功发射的GF-1卫星是中国高分系列卫星的首发星,影像在中国农情遥感监测业务中得到了广泛应用,已成为大宗农作物种植面积遥感监测的主要数据源之一。高精度几何位置的配准是卫星农情定量化应用的基础与前提,该文提出了一种基于区域网平差方法修正GF-1卫星WFV(wide field view,WFV)影像RPC(rational polynomial coefficients,RPC)参数,获取更高几何定位精度的校正方法,形成了模式化的业务处理流程,为该影像在农情遥感监测中的应用奠定了基础。算法流程包括2个部分,首先是基于像面间仿射变换关系及有理多项式RFM(rational function model,RFM)模型构建轨道间的区域网平差数学模型,其次是根据影像连接点及少量控制点输入求解所有参与平差的卫星影像定向参数,获取亚像元级的校正结果。平差参数的解算是通过两步求解完成的,初始平差参数是根据连接点及对应的DEM高程值进行平差迭代至收敛,结果平差参数是将初始平差参数作为初始值代入区域网平差模型,并以逐点消元方式约化法方程,解算出各影像的仿射变换参数。该文在求解平差参数过程中,直接使用DEM(digital elevation model)上获取的高程值作为约束条件,消除了平面坐标与高程的相关性,保证了区域网平差模型能够解算。混合地形、平原、山区3种情况下区域网平差结果表明,全连接点平差结果具有较高的相对定位精度,其行方向的中误差分别为0.3046、0.4674、0.3365像元,列方向的中误差分别为0.3677、0.2849、0.2889像元;而结合少量控制点的区域网平差则同时具有很高的绝对定位精度,其行方向的中误差分别为0.3648、0.5041、0.3605像元,列方向的中误差分别为0.4954、0.4039、0.6323像元,整体达到了亚像素级。最后,在农业应用基础控制底图的支持下,分别对原始影像、RPC校正影像、区域网平差后的影像进行几何配准,分析不同输入影像条件下的几何校正精度,仅有区域网平差后的影像达到了亚像元的校正精度,混合地形、平原、山区3种情况下行方向的中误差分别为0.6857、0.6664、1.0646像元,列方向的均方差分别为0.4342、0.4696、0.5609像元,但与几何校正前精度相比没有明显改善,说明本文提出的研究方法可以实现少量控制点条件下的几何精校正。不同DEM校正结果表明,对于山区,更高分辨率的DEM可以获得更好的定位精度。上述研究充分表明,该方法对GF-1/WFV数据的处理有效且可行,并在农业部中国农情遥感业务工作中得到了初步应用。     

基于尺度不变特征转换算子的水果表面图像拼接方法

水果全表面图像信息是否完整,直接影响水果表面颜色和缺陷检测的结果。该文提出了一种基于尺度不变特征转换(SIFT,scale invariant feature transform)算子的图像拼接方法,实现多视角水果图像的拼接以获取完整的水果表面信息。首先以15°固定间隔旋转水果以获取各视角下的连续图像,在图像2R-G-B通道下实现图像目标和背景分离,并对目标图像进行灰度直方图均衡化以增强其纹理信息,有利于特征点的提取。运用SIFT算法提取图像特征点,因为特征向量数量多、维数高,采用普通的K-D树算法搜索匹配点将消耗大量时间,因此将图像划分为16个区域,通过多次试验可知中间4个区域为特征点是最容易匹配的区域,这样就缩小匹配点可能存在的区域。采用极线几何约束法和改进型随机抽样一致(random sample consensus,RANSAC)算法以提高图像拼接精度,减少匹配时间。根据平移矩阵,对前后图像进行拼接,从而实现水果表面图像的完整拼接。试验结果表明:该算法平均匹配精度提高35.0%,平均拼接时间为2.5 s,较传统K-D树算法缩短67.8%时间,拼接效果还原率为93.9%。该文算法具有一定的尺度、旋转以及仿射变换不变性,适用于随机呈现的不同姿态球状水果图像拼接。该研究可为基于机器视觉的农产品品质检测和等级划分提供科学参考。