基于立体视觉的玉米雄穗三维信息提取

玉米雄穗的表型信息对玉米育种研究具有重要的参考意义。该研究以自动获取玉米雄穗三维表型信息为目的。通过对雄穗样本进行多视角摄影处理来重建其三维模型。对重建的三维点云数据运用基于密度聚类的方法统计其分枝数信息,运用Delaunays三角网方法计算其外包络体积信息,并基于点云信息对雄穗主轴和最大穗冠的结构参数进行计算,同时定义了相关表型参数。用实测结果验证计算结果:分枝数统计结果的最大绝对误差为2,RMSE(root mean square error)为1.03,n RMSE(normalized root mean square error)为0.05;主轴长度,主轴最大/最小直径,最大穗冠高度和最大穗冠直径的R~2分别为0.99,0.82,0.83,0.97和0.93,均达到极显著相关水平。研究提出的相关表型参数和其提取方法在育种研究中具有应用潜力,为田间高通量雄穗信息的快速提取提供了参考。     

基于双目立体视觉技术的成熟番茄识别与定位

研究了基于双目立体视觉技术的成熟番茄的识别与定位方法,获取了成熟番茄的位置信息,用于指导温室内成熟番茄的自动化采摘作业.该方法利用成熟番茄与背景之间颜色特征的差异进行图像分割来识别成熟番茄;根据图像分割的结果,用形心匹配方法获取番茄中心的位置;然后根据相邻区域像素点灰度的相关性,利用区域匹配方法计算番茄表面各点的深度信息.使用限制候选区域和两次阈值分割的方法减少计算量,提高了计算精度.实验结果表明,工作距离小于550 mm时,番茄深度值的误差约为±15 mm.利用该测量方法可以实现成熟番茄位置信息的获取,测量精度较高.     

基于多视角立体视觉的植株三维重建与精度评估

基于图像序列的植株三维结构重建是植物无损测量的重要方法之一。而对重建模型的精度评估方法大多基于视觉逼真程度和常规测量数据。该研究以精确的激光扫描三维模型为参照,采用豪斯多夫距离,从三维尺度上对基于图像序列的植株三维重建模型进行精度评估。同时,从植株表型参数(叶片长、宽、叶面积)方面,对植株三维重建模型进行精度评估。结果表明,基于图像序列的三维重建模型精度较高,豪斯多夫距离在0~10 mm之间,各试验植株豪斯多夫距离大多小于4.0 mm,各植株表型参数与其对照值的R2均大于0.95,且两者的无显著性差异(P0.05)。此植株三维结构重建方法能够应用于植物表型、基因育种、植物表型与环境互作等研究领域。     

基于光度立体法的翘板黑瓜子识别方法研究

针对目前翘板黑瓜子依赖手工检测效率低下的问题，提出了一种利用光度立体视觉算法进行翘板瓜子识别的方法。首先利用实物表面重建的方法标定了图像采集系统的精度；然后针对黑瓜子表面中间区域与周边区域颜色有巨大差异的特殊形态，分区域三维重建了黑瓜子表面；最后通过试验确定表面面积为识别特征，识别阈值为9，在误识率小于5％的情况下，翘板瓜子识别率达90％。试验结果表明应用光度立体视觉算法可以有效地进行翘板黑瓜子的识别。     

基于双目立体视觉的番茄定位

为提高番茄采摘机器人视觉系统的定位精度,该文提出了一种基于组合匹配方法及深度校正模型的双目立体视觉测距方法。该方法在形心匹配的基础上,将形心匹配得到的视差值作为区域匹配时设定视差范围的参考值。这样可以减小区域匹配计算量及误匹配的概率。区域匹配后,利用三角测距原理得到番茄区域对应的深度图,并将区域的深度均值作为其深度维的坐标。试验发现定位误差与测量距离间具有很好的线性相关性。通过回归分析,建立了线性回归模型,并对深度测量结果进行校正。结果表明,工作距离小于650mm时,定位误差约为-7～5mm,工作距离小于1050mm时,定位误差约为±10mm,可满足番茄采摘机器人视觉系统在大多数采摘作业环境下的工作要求。     

基于立体视觉的动态鱼体尺寸测量

获取渔业养殖鱼类生长态势的人工测量方法费时费力,且影响鱼的正常生长。为了实现水下鱼体信息动态感知和快速无损检测,该研究提出立体视觉下动态鱼体尺寸测量方法。通过双目立体视觉技术获取三维信息,再通过Mask-RCNN(Mask Region Convolution Neural Network)网络进行鱼体检测与精细分割,最后生成鱼表面的三维点云数据,计算得到自由活动下多条鱼的外形尺寸。试验结果表明,长度和宽度的平均相对误差分别在4.7%和9.2%左右。该研究满足了水产养殖环境下进行可视化管理、无接触测量鱼体尺寸的需要,可以为养殖过程中分级饲养和合理投饵提供参考依据。     

基于双目立体视觉的机械手移栽穴盘定位方法

为了解决自动化机械手移栽过程中穴盘放置偏斜和底部局部"凸起"而引起的移栽效果不理想的问题,为机械手提供穴盘精准坐标,对穴盘准确定位方法进行研究。首先,根据机械手移栽特点提出穴盘定位总体方法及图像获取手段。其次,利用单目相机获取的图像采用像素标记法和Radon变换法计算穴盘中心坐标和角度,完成穴盘平面定位。再次,对双目相机获取的图像采用SIFT(scale invariant feature transform)特征匹配的算法获得匹配点对坐标,并提出区域整合匹配点的方法。最后,利用整合的区域双目匹配点坐标配合相机标定结果重建匹配点的三维世界坐标,并且与穴盘平面定位结果相结合完成穴盘空间位置重构。试验结果表明,提出的穴盘定位方法能够真实地恢复穴盘空间姿态,中心像素横纵坐标相对误差分别在(-7,+7)和(-6,+7)像素内,角度检测值与实测值相对误差值在(-0.51°,+0.53°)内,利用SIFT特征匹配算法匹配双目图像,在2×4区域内对8对整合匹配点进行三维世界坐标重建,其中7个坐标的三个维度与测量值相对误差在2 mm内,1个坐标与测量值相对误差为4.6 mm内。该方法所应用的算法成熟,可以满足机械手移栽实际应用处理要求。     

基于双目视觉的植物叶片三维形态与光照度同步测量

植物叶片的生长与光照度密切相关,尤其在温室大棚内,对光照度的控制要求更高。为同时获取叶片的三维形态与光照分布,该文提出了一种基于双目视觉的纹理植物叶片三维形态与光照度同步测量方法。利用双目视觉原理结合数字图像相关技术,实现叶片三维形态测量;通过植物叶片光照度与图像灰度关系推导,实现三维光照分布测量。该文以网纹草为例,对上述方法进行验证。试验表明:参考子区半径为57 pixels、计算间隔7 pixels时三维形态测量效果最佳;对叶片实施均匀光照,照度仪测量值与图像测量平均值相对误差在6%以内;对叶片实施非均匀光照,测量的光照分布真实反映了叶片光照分布。该方法具有非接触、方便、快捷等优点,为植物叶片的三维形态与光照度测量提供了一种方法,为温室大棚的智能光控提供了数据支撑。     

基于多幅图像的黄瓜叶片形态三维重建

为了更加快速、便捷、精确和逼真地重构出植物叶片的三维形态,提出了基于多幅图像的黄瓜叶片建模方法。首先利用角点检测算法提取叶片边缘及主脉的特征点,通过结合极线约束和SIFT特征描述算子对特征点进行匹配,进而得到特征点的三维坐标;然后利用B样条曲线连接这些特征点,对叶片边缘和中脉进行拟合,再利用Delaunay三角化方法对叶片进行三角网格化;最后通过纹理映射增加模型的真实感。试验结果表明,通过该方法可以精确、快捷地重构出黄瓜叶片的三维形态,具有较强的真实感效果。     

基于单目视觉的移栽钵苗叶片朝向的调整方法

为解决钵苗移栽时叶片朝向一致的问题,研究单目视觉钵苗叶片的调向方法。首先,均隔8°提取钵苗旋转1圈视频中的45帧图像作为目标对象,对每帧图像依次采用灰度变换、阈值分割和细化等算法进行图像处理后,将8邻域中只有一个与其灰度值相同的中心像素判定为叶片末梢尖点(兴趣点)。然后,通过平滑相似度函数将兴趣点路径跟踪问题简化为对前一帧兴趣点的临近位置均值移位搜索的最大相似度;根据跟踪对象运动矢量方向和速度的连贯性,通过最小化函数从临近位置内存在的多个兴趣点中筛选出目标兴趣点;采用最小化接近一致性代价幻影点函数产生一个帧间幻影点代替因叶片相互遮挡可能丢失的兴趣点。依次根据各帧图像的多个叶片兴趣点获得其相应跟踪路径和对应方位。最后,将叶片兴趣点中存在最大横坐标值的一对对称兴趣点作为目标,当其中一个兴趣点处在最大横坐标位置时,根据另一个兴趣点的当前位置确定钵苗顶杆的调整转角θ/2,将叶片朝向调整到与横轴平行后完成调向。试验结果显示,50株钵苗的最小、最大调向偏差值分别为1.51°和25.31°,94%的调向偏差值小于15°。钵苗叶片调向方法可以满足钵苗移栽机的叶片调向要求。     

基于Rank变换的农田场景三维重建方法

农田场景的三维重建对于研究远程监测作物的生长形态、预测作物产量、识别田间杂草等都具有重要作用。为解决农田场景图像三维重建困难、立体匹配精度较差等问题,该文提出了一种基于Rank变换的农田场景三维建模方法。该方法运用加权平均法灰度化图像,以保留农田场景的完整特征;以灰度图像的Rank变换结果作为匹配基元,采用基于归一化绝对差和测度函数的区域匹配算法获取场景的稠密视差图;根据平行双目视觉成像原理计算场景的空间坐标,并生成三维点云图;依据所得场景的三维坐标,对场景中感兴趣区域实现三维重建。采用标准视差计算测试图像验证立体匹配算法精确性,平均误匹配率较传统的绝对差和函数算法降低约5.63%。运用不同环境下的棉田场景图像测试三维重建方法,试验结果表明,在6.8 m的景深范围内,作物及杂草的高度、宽度等几何参数计算值与实际测量值接近,各项指标的平均相对误差为3.81%,验证了三维重建方法的可靠性及准确性。     

基于轮廓分割的草莓叶片三维建模

为精确构建原位草莓植株三维空间结构,以高架栽培模式生长环境下的草莓植株为研究对象,提出了一种基于多源图像轮廓分割的草莓植株结构形态三维重建算法。通过改进的多源图像融合算法,建立多源图像映射关系,融合预处理后的多源信息得到待分割强度图;计算待分割强度图矢量场卷积的局部中心,选出多目标的初始轮廓控制点,将参数的活动轮廓模型应用于待分割强度图像进行叶片的分割;采用标记的方法将分割轮廓映射至距离点云集,设计以单个叶片为单位的平面拟合选择机制,最终完成草莓三维模型的重建及显示。为验证该算法的有效性,将三维重建后的有效叶片数,平均单叶长度及叶片距离差作为评价指标,实验结果表明,有效叶片数正确率为85.6%,平均单叶长度模型正确计算率为88.4%,叶片距离差正确计算率为82.4%,研究结果可应用于原位草莓植株的空间位置测量,可为农业机器人局部视觉场景中植株空间结构的构建提供参考。     

小车避障双目视觉识别系统的研发

For the reasons of the complex working environment and plenty of obstacles in facility agriculture, this paper studied the problem of identifying the obstacles by binocular vision recognition system.Binocular vision system was built up at first.OpenCV and Matlab were used for the binocular camera calibration respectively.Secondly, Bouguet algorithm was used to rectify the input images and analyse three kinds of matching algorithms.Then the smallest enclosing moment of the object could be extracted.At last, the distance between the objects was calculated and 3D reconstruction was used.The experimental results showed that the binocular vision system had high reliability, high real time, strong anti-interference ability and lower cost which can identify different obstacles with a wide application rage.It could satisfy the operational requirements of the unmanned control vehicle’s automatic obstacle avoidance in facility agriculture, and laid the foundation for vehicle obstacle avoidance and navigation.     

基于玉米根系图像的表型指标获取方法

为了快速获取玉米根系表型指标,该研究提出一种基于图像的高通量解决方案.系统整合一套简易可靠的根系图像获取硬件和自动化根系图像处理算法,首先在固定背景下获取玉米根系图像,通过标定物检出、背景分割算法得到根系目标前景图像,识别根系起始点并剪除冗余部分得到根系感兴趣区域后计算颜色、形状、空间分布3大类29个表型指标.应用该系...     

基于多视角自动成像系统的作物三维点云重建策略优化

为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和不同相机数获取的图像重建作物三维点云,通过重建效率和精度(Hausdorff距离)评估,以及基于点云提取表型参数(株高、幅宽、凸包体积和总表面积)的可靠性评价,优化作物三维点云重建策略。结果显示,对于结构相对稀松、遮挡较少的盆栽植株(苗期、蕾薹期、盛花期、成熟期油菜)、结构相对紧凑、遮挡较多的植株地上部(花铃期棉花、抽穗期水稻、拔节期和灌浆期小麦)以及器官密集、遮挡严重且有较多细长结构的地上部和根系(分蘖期小麦和成熟期水稻地上部、成熟期玉米和油菜根系),分别采用3～4、6和10个相机为其最优重建策略(Hausdorff距离小于或接近0.20 cm,且重建时长和Hausdorff距离归一化值之和最小)。采用不少于4个相机获取的图像重建作物三维点云,可提取较为可靠的表型参数(决定系数R²>0.90...     

基于支持向量机的玉米根茬行图像分割

玉米根茬行的准确识别是实现玉麦轮作机器视觉式小麦自动对行免耕播种技术的前提。针对华北一年两熟区联合收获机玉米留茬收获后根茬行较难准确分割的问题,该研究以直立玉米根茬为研究对象,提出一种基于支持向量机（Support Vector Machine,SVM）的玉米根茬行分割方法。首先,利用主成分分析（Principal Components Analysis,PCA）对提取的目标（直立根茬）与背景（行间秸秆及裸露地表）的颜色和纹理特征进行分析,优选出21个特征,构成特征向量作为训练直立根茬SVM识别模型的输入;然后,根据图像坐标设置图像中间包含完整玉米根茬行的矩形区域为感兴趣区域（Region of Interest,ROI）;最后,使用训练好的直立根茬SVM识别模型以25×25（像素）的窗口在ROI内滑动检测,采用阈值法分割根茬行并通过形态学处理优化得到最终的玉米根茬行二值图像。利用在农业农村部河北北部耕地保育农业科学观测实验站采集的100幅玉米根茬行图像进行试验,结果表明,本文方法对于不同行间秸秆覆盖量和不同光照条件下的根茬行分割表现出较好的准确性和鲁棒性,直立根茬平均识别准确率、平均分割准确率、平均召回率、平均分割准确率与平均召回率的加权调和平均值（F1avr值）分别为93.8%、93.72%、92.35%和93.03%,每幅图像的平均分割时间为0.06 s,具有较好的实时性。基于SVM的分割方法可实现联合收获机玉米留茬收获后根茬行图像的分割,为下一步检测玉米根茬行直线并将其作为导航基准线进行视觉导航的研究提供良好基础。     

基于生长模型的玉米三维可视化研究

为了实现对玉米形态结构的定量化和可视化描述,提出了基于生长模型的玉米形态模拟及三维可视化的技术框架。通过资料收集和田间观测研究,构建了可描述不同玉米品种叶片、叶鞘和节间等器官的主要形态结构参数随叶序变化的形态知识模型。在玉米生长模型框架内,整合玉米形态知识模型和基于形态特征参数的器官几何模型,使玉米生长模型可输出玉米拓扑结构和各器官的形态特征参数,实现了对玉米形态建成过程的定量化模拟,并进一步驱动几何模型进行玉米植株和冠层的三维重建。根据上述“生长模型-形态模型-数学模型-显示模型”的思路,模拟了玉米“农大108”的三维形态建成过程及冠层的三维形态,具有较强的真实感,为玉米形态结构研究提供了新的思路和手段。     

基于图像分块及重构的菠菜重叠叶片与杂草识别

针对重叠叶片在识别过程中存在识别率低、形状特征失效等问题,该研究提出一种基于图像分块及重构的方法,实现菠菜重叠叶片杂草识别。采用超绿模型将菠菜RGB图像进行灰度化得到绿色植被前景图像。针对重叠叶片形状特征失效问题,采用图像分块方式得到不同大小的图像块,并提取图像块中作物和杂草的颜色特征、局部二值模式(local binary pattern,LBP)纹理特征、分形盒维数共78维特征,构造支持向量机(support vector machine,SVM)分类器完成图像块的分类识别。该研究提出图像块边缘扩充和投票窗口机制得到重构图实现图像块分类结果可视化。试验结果表明,该研究提出的方法平均识别率达到83.78%,高于K最近邻法(K-Nearest neighbor,KNN)、决策树法等,可以实现重叠叶片的杂草识别,从而为智能除草机的研制提供理论依据。