基于RGB-D相机的果树三维重构与果实识别定位

为实现对果园果实机器人采摘提供科学可靠的技术指导,提出了一种基于RGB-D相机的苹果果树三维重构以及进行果实立体识别与定位的方法。使用RGB-D相机快速获取自然光照条件下果树的彩色图像和深度图像,通过融合果树图像彩色信息和深度信息实现了果树的三维重构;对果树的三维点云进行 R-G 的色差阈值分割和滤波去噪处理,获得果实区域的点云信息;基于随机采样一致性的点云分割方法对果实点云进行三维球体形状提取,得到每个果实质心的三维空间位置信息和果实半径。实验结果表明,提出的果树三维重构和果实立体识别与定位方法具有较强的实时性和鲁棒性,在0.8~2.0 m测量范围内,顺光和逆光环境中果实正确识别率分别达95.5%和88.5%;在果实拍摄面的点云区域被遮挡面积超过50%的情况下正确识别率达87.4%;果实平均深度定位偏差为8.1 mm;果实平均半径偏差为4.5 mm。     

基于Kinect相机的多视角RGB-D信息融合的甜椒姿态估计研究

针对在复杂环境中由于存在遮挡导致果蔬姿态计算不准甚至无法识别这一问题,提出一种基于Kinect相机的甜椒姿态估计研究方法,通过融合多视角下的甜椒点云信息,结合PCA算法估计出甜椒在空间中的三维姿态。基于Kinect相机的多视角RGB-D信息融合的甜椒姿态估计研究方法是将两间隔为60°的视角下Kinect相机采集甜椒的点云信息融合,并在ICP精配准过程中引入对应点对局部法向量夹角与平均曲率阈值双约束项提高点云配准精度,以解决两视角点云配准效果差、重叠度不高从而造成的由PCA算法估计点云姿态偏差大的技术问题。试验结果表明在无遮挡情况下,本文算法的误差均值为5.15°,在双视角中其中某一视角有遮挡情况下的综合均值误差为5.67°,双视角均有遮挡情况下综合平均误差为7.86°,满足实际作业时的技术要求。本研究不仅适用于甜椒的空间三维姿态识别,同时为其他智能采摘机器人姿态识别系统搭建提供技术参考。     

基于点云的谷粒高通量表型信息自动提取技术

在进行水稻的数字化考种、表型与基因关联分析和数字农业仿真模拟时,需要大量的谷粒表型信息作数据支撑。本文提出了一种基于三维点云的谷粒高通量表型信息自动提取方法,能同时自动获取谷粒的三维模型和40个表型参数,实现谷粒形状的定量和定性描述。首先,通过对谷粒点云数据进行聚类分析,完成谷粒点云的分类;其次,实现谷粒的三维重建,对谷粒离散点云进行柱面构网,获取谷粒点云的三维模型数据;最后,根据不同表型参数的特点,实现了谷粒的三维表面积和体积、长、宽、高、3个主成分剖面的周长和面积等11个基本参数与长宽比、长高比和体积比等11个衍生参数以及18个形状因子的自动提取。利用Handyscan 700型手持式激光扫描仪获取的谷粒高精度点云数据进行实验,成功实现了谷粒表型参数的自动提取,测量结果可达毫米级。基于主成分方法分析了各表型参数的权重。以游标卡尺测量值和Geomagic Studio测量值作为真值,长、宽、高的平均相对误差为1.14%、1.15%和1.62%,体积和表面积的相对误差为零,3个主成分剖面面积的平均相对误差为1.82%、2.12%和2.43%。本文方法与人工测量方法及软件测量方法相比,精度相当,且具有批量、自动、人工干预少(仅数据采集阶段需要人工操作)以及效率高的特点。     

基于视触觉感知的番茄尺寸和姿态解析方法

针对传统农业机器人抓取过程中视觉识别番茄果实尺寸和姿态存在枝叶遮挡的问题,提出了一种基于视触觉感知的番茄尺寸和姿态解析方法。在果实抓取过程中通过视触觉传感器得到果实外轮廓接触局部点云信息,然后通过相机参数标定以及各手指关节变换矩阵,将不同传感器坐标系下的点云信息变换到同一基坐标系下,进而通过点云改进PCA算法和ICP算法解析抓取果实的尺寸和姿态信息。为了评估所提出解析方法的性能,在实验室环境下进行了番茄尺寸和姿态检测试验。通过游标卡尺测量和深度相机扫描分别获得番茄果实尺寸和姿态的真实值,并与本文方法解析结果进行对比。检测试验结果表明,本文方法获得的番茄横向尺寸和纵向尺寸平均相对误差分别为8.66%和11.08%,番茄果轴与视场投影面的水平夹角和垂直偏转角平均相对误差分别为10.03%和14.02%。本文方法解析的番茄果实尺寸与姿态信息,可应用于番茄果实抓取过程中的姿态调控,从而提高番茄果实抓取采摘的可靠性。     

基于RGB-D相机的蔬菜苗群体株高测量方法

为实现工厂化育苗生产线上黄瓜苗群体株高的快速无损测量,提出一种基于RGB-D(RGB-Depth)相机的温室育苗盘中蔬菜苗株高参数原位测量方法。以黄瓜苗为观测对象,在苗的正上方0. 75 m处架设RGB-D相机,以获取黄瓜苗盘的俯视彩色图像、深度图像以及彩色三维点云数据。在采集的俯视彩色三维点云中分割出单株幼苗点云集、并实现单株幼苗的定位是蔬菜苗群体株高原位测量的关键。根据RGB-D相机的成像原理,将滤波与聚类分割算法相结合,实现一种基于俯视的彩色三维点云数据处理方法,用于从穴盘幼苗群体点云集中分割出单株幼苗点云集。对黄瓜苗彩色三维点云数据的实验处理结果表明,条件滤波、颜色聚类以及统计滤波相结合的滤波算法能够更好地滤除土壤背景的点云集,欧氏距离聚类分割算法可以从滤除土壤背景后的点云中有效地分割出单株蔬菜苗点云集。最后,根据基于俯视的彩色三维点云数据的幼苗株高计算方法得出单株幼苗的株高。实验结果表明,黄瓜苗株高的平均测量误差为2. 30 mm,平均测量相对误差为7. 69%,该结果可为苗期作物群体关键生长参数的提取提供有效的解决方案。     

基于改进凸壳理论的遮挡油茶果定位检测算法

针对传统凸壳理论进行遮挡果实定位检测时由于过多剔除有效轮廓,造成目标果实定位误差较大,甚至无法识别目标果实的问题,提出了一种基于改进凸壳理论的遮挡油茶果定位检测算法。首先利用基于颜色特征的阈值分割法对油茶果遮挡图像进行目标分割,并通过预处理操作剔除图像中的背景噪声,获得目标果实的二值图像;然后采用凹点搜寻算法检测重叠目标的凹点,并根据凹点对重叠目标进行分离,获得相互独立的目标图像;再构建各独立目标的凸包,并提取凸壳,利用轮廓提取算法确定各独立目标凸壳上的有效轮廓;最后根据提取的有效轮廓求解目标果实形心坐标和半径,完成遮挡果实的定位检测。试验结果表明,改进算法平均耗时为0.491 s,比传统凸壳方法增加了24.07%,但其仅占油茶果采摘机器人单个果实采摘周期的2.46%,对于图像中的遮挡油茶果目标,改进方法的识别率达到93.21%,相比传统凸壳方法提升了7.47个百分点,改进算法的平均定位检测误差和平均重合度分别为5.53%和93.43%,比传统凸壳算法平均定位误差降低了6.22个百分点,平均重合度提高了6.79个百分点,表明文中所提出的方法能够较好地识别和定位自然环境中的遮挡油茶果。     

基于激光雷达的枣树轮廓测量平台的设计与试验

针对枣树的三维轮廓信息重建,搭建了一种基于激光雷达的果树轮廓测量平台。通过在平台上的滑轨移动激光雷达获取果树的三维点云信息,采用MatLab软件对点云数据进行提取与处理。为了降低外部环境对点云数据处理的影响,采用高度统计直方图进行地面滤波实现地面点云的滤除,通过icp算法实现双侧点云的配准,应用欧氏聚类算法分割获取枣树点云数据。为验证研究方法的准确性,从点云轮廓数据中获取果树的冠幅数据与手工测量数据进行线性模型拟合对比,二者的相关系数R=0.91,均方根误差RMSE=0.06,相对误差RE=4.08%,拟合效果较好,说明此方法具有一定的可行性。     

基于点云数据的树木三维重建方法改进

激光点云数据以其详尽、高精度的三维信息,在森林参数估算、精确重建植物形态结构三维模型方面具有特殊优势。为进一步提高三维模型精度,综合集成多种算法,在改进现有PC2Tree软件基础上,基于点云数据进行树木三维重建。首先根据树木局部点云的主方向相似度和局部点云轴向分布密度分离枝干与树叶;其次采取水平集和最小二乘法提取枝干部分的骨架点,通过下采样方法提取冠层部分的特征点;最后根据骨架点和特征点拓扑结构重构树木三维模型。以樟树为例,分析枝叶分割精度,自动分割与手动分割结果相近;以无叶的鸡蛋花树为例,分析重建模型精度,模型主枝长度相对误差范围集中在0~8.0%,半径相对误差范围集中在0~10%;枝条重建过程避免了噪声点的干扰,对噪声点具有一定的不敏感性;重建三维模型与原始点云吻合度高,基本解决了冠层内部枝干遮挡严重带来的三维建模困难的问题;依据模型提取树高、冠幅、胸径、体积等参数,增加了重建模型的应用范围。     

基于点云配准的盆栽金桔果实识别与计数方法

为解决整株盆栽金桔果实识别及总体计数问题,提出了基于三维点云配准的金桔果实识别方法。首先,使用RGB-D相机采集植物多角度点云数据并进行背景去除和去噪处理。然后采用随机采样一致性(Random sample consensus, RANSAC)算法进行圆柱拟合获得旋转中心轴参数,将点云绕中心轴旋转固定角度完成初配准,之后采用点到面的迭代最近点(Iterative closest point, ICP)算法完成精配准得到完整点云。最后,对点云进行欧氏聚类分割,采用随机采样一致性算法对聚类后点云进行球形分割,获得每个果实的三维空间位置并计数。本研究对9株盆栽金桔(共149个果实)进行识别,总计识别查全率为85.91%,查准率为79.01%,F1值为82.32%,果实数量预测值和真实值的决定系数为0.97,平均绝对百分比误差为16.02%。实验结果表明,本文方法不依赖颜色信息,能够有效识别整株植物中未成熟的青色果实,可为果实识别与产量估计等研究提供参考。     

基于结构光三维点云的棉花幼苗叶片性状解析方法

针对传统的棉花叶片表型测量方法主观、低效,对复杂性状如卷叶程度、黄叶占比等很难量化的问题,提出一种基于结构光三维成像的棉花幼苗叶片性状解析方法。首先,采用结构光扫描仪获取棉花幼苗的三维点云数据;然后,利用直通滤波、超体聚类、条件欧氏距离算法,实现叶片点云的识别与分割;最后,基于分割的叶片点云,采用三角面片化、随机采样一致性、Lab颜色分割等处理,实现叶片面积、周长、生长角度、卷曲度、黄叶占比等参数的快速、准确、无损提取。对40株棉花幼苗进行三维结构光成像试验,结果表明,3D叶片面积、周长测量的平均绝对误差分别为2. 59%、2. 85%,具有较高的测量精度,还证明叶片卷曲度和黄叶占比能显著区分病叶和正常叶。     

基于Kinect v2传感器的果树枝干三维重建方法

针对果树三维重构中存在建模精度低、成本高、拓扑结构差等问题,提出一种基于Kinect v2传感器的果树表型三维重建与骨架提取方法。首先,使用Kinect v2传感器采集不同视角下的果树点云数据;其次,对植株点云进行尺度不变特征变换的特征点检测,对关键点使用快速点特征直方图算法进行特征向量计算,通过随机抽样一致性方法提纯点云的初始位置,经初始变换后使用改进的迭代最近点算法进行精配准、拼接形成完整点云;最后,使用Delaunay三角剖分解构点云数据对缺失点云进行填充,使用Dijkstra最短路径算法对最小生成树进行求取,通过迭代去除冗余分量对骨架进行简化,使用圆柱拟合算法估算枝干骨架,将枝干骨架变为封闭凸包多面体,实现果树的枝干三维重建。实验结果表明：采用本文所提建模方法点云平均配准误差为0.52cm,枝干平均重构误差不超过3.52%,重建效果良好。研究成果可为果园评估作物状态、智能化修剪等研究提供数据支持。     

复杂环境下肉牛三维点云重建与目标提取方法

基于点云采集技术的非接触式测量能够缓解肉牛在采集体尺体重等参数时的应激问题,但采集肉牛的三维数据耗时长且易受环境干扰而产生大量无关噪点,难以适应实际养殖环境需求。为解决该问题,本研究开发了一种非接触式肉牛三维点云重建与目标提取系统与方法,采集的肉牛三维点云可为肉牛育种育肥提供大量标准化和三维量化表型数据。三维点云采集系统由Kinect DK深度相机、红外对射光栅触发器和射频识别（Radio Frequency Identification,RFID）触发器组成,可在肉牛自由通过步行道的瞬间实现肉牛点云的多角度瞬时采集。肉牛点云目标提取方法基于C++语言与点云处理库（Point Cloud Library,PCL）开发,通过空间直通滤波、统计学离群点滤波、随机抽样一致（Random Sample Consensus,RANSAC）形态拟合与点云抽稀、基于降维密度聚类的感知盒滤波等算法有效滤除与肉牛紧贴的栏杆等干扰,不破坏点云的完整性,实现肉牛点云的三维重建与分析。在养殖场中对20头肉牛进行了124次点云采集与目标提取试验。结果表明,重建的肉牛三维模型与肉牛真实形态1:1对应,系统的采集成功率为91.89%,采集的点云与真实值相比,体尺重建误差为0.6%。该系统与方法可以在无人干预的情况下,实现多角度肉牛点云数据的自动采集与三维重建,并从复杂环境中自动提取目标肉牛的点云,为非接触式肉牛体高、体宽、体斜长、胸围、腹围和体重等核心表型参数的测量提供重要的方法支撑,促进肉牛育种和育肥的标准化管理。     

基于神经辐射场的苗期作物三维建模和表型参数获取

苗期作物三维结构的精准高效重建是获取表型信息的重要基础。传统的三维重建大多基于运动恢复结构-多视图立体视觉（Structure from motion and multi-view stereo,SFM-MVS）算法,计算成本高,难以满足快速获取表型参数的需求。本研究提出一种基于神经辐射场（Neural radiance fields,NeRF）的苗期作物三维建模和表型参数获取系统,利用手机获取不同视角下的RGB影像,通过NeRF算法完成三维模型的构建。在此基础上,利用点云库（Point cloud library,PCL）中的直线拟合和区域生长等算法自动分割植株,并采用距离最值遍历、圆拟合和三角面片化等算法实现了精准测量植株的株高、茎粗和叶面积等表型参数。为评估该方法的重建效率和表型参数测量精度,本研究分别选取辣椒、番茄、草莓和绿萝的苗期植株作为试验对象,对比NeRF算法与SFM-MVS算法的重建结果。结果表明,以SFM-MVS方法重建点云为基准,NeRF方法重建的各植株点云点对距离均方根误差仅为0.128~0.395cm,两者重建质量较接近,但在重建速度方面,本文研究方法相比于SFM-MVS方法平均重建速度提高700%。此外,该方法提取辣椒苗株高、茎粗决定系数（R2）分别为0.971和0.907,均方根误差（RMSE）分别为0.86cm和0.017cm,对各苗期植株叶面积提取的R2为0.909~0.935,RMSE为0.75 ~3.22cm2,具有较高的测量精度。本研究提出的方法可以显著提高三维重建和表型参数获取效率,从而为作物育种选苗提供更为高效的技术手段。     

枝上柑橘果实深度球截线识别方法

针对柑橘果、叶、枝对象具有球体、片体和细柱体不同的三维几何特征,提出一种识别柑橘果实的深度球截线方法。首先提出了球形果实特征提取的深度球截线方法的基本原理和关键参数,进而分别针对枝上果、叶孤立和贴碰区域提出了孤立果实的特征提取算法和贴碰果实的特征提取算法,得到了复杂枝环境下的深度数据处理与果实识别策略,并综合根据Intel Real Sense F200型深度传感器参数、柑橘果实尺寸、近景探测范围、数据预处理与特征提取需要完成了深度球截线方法的参数确定。大量室内试验结果表明,深度球截线方法对孤立果实提取的平均成功率为97.8%,贴碰区域内果实提取的平均成功率为76%,而复杂枝环境的果实提取综合成功率为63.8%。该深度球截线的识别方法仅利用有限的深度数据点,在保证原始数据精度的同时降低了运算量和果实特征提取复杂性,能有效应对果叶遮挡问题,实现对贴碰果叶的有效区分,对柑橘果实具有良好的适应性,为采摘机器人在复杂环境下的果实识别与定位提供了新的技术思路。     

基于SOM-K-means算法的番茄果实识别与定位方法

为解决多个番茄重叠黏连时难以识别与定位的问题,提出一种基于RGB-D图像和K-means优化的自组织映射(Self-organizing map,SOM)神经网络相结合的番茄果实识别与定位方法.首先,利用RGB-D相机拍摄番茄图像,对图像进行预处理,获取果实的轮廓信息;其次,提取果实轮廓点的平面和深度信息,筛选后进行处...     

激光测距在果树冠层三维重构中的应用

随着计算机技术的发展和果园果树精细管理的现实需求,果树冠层的三维重构问题成为研究热点。本文采用激光传感器在不同高度对果树靶标冠层进行水平扫描测距;将从果树不同方位测得的探测点坐标进行坐标转换,得到同一坐标系下的果树冠层三维点云;采用插值法重构模型树冠层三维轮廓。试验结果表明重构的冠层轮廓较为准确地反映了果树的外形轮廓。本文研究为采用激光传感器测距技术进行果树冠层三维重构与体积测量提供了前期研究基础。     

基于三维点云的苹果树叶片三维重建研究

叶片是果树冠层的重要组成部分,对其进行三维重建研究不仅可以对叶片形态特征进行分析,还能为冠层光照分布计算以及果树整形修剪提供理论基础。三维激光扫描仪以非接触、高效、快速获取数据的优势被大量应用于三维空间信息采集工作中。本文提出一种基于三维点云的苹果树叶片结构形态三维重建方法。首先针对叶片的形态特点选择合适的三维激光扫描仪获取苹果叶片三维点云;基于包围盒法搜索K邻域,计算点云中点与其邻域点的平均距离,并设定距离阈值作为判定中心点是否为离散点的依据,进而确定离散点并去除;利用最小二乘原理实现点云局部曲面拟合以及法向量、曲率的计算,提取叶片边界点;对于非边界点部分,根据中心点法向量与其邻域法向量的关系,对点进行不同程度的精简;最后对处理后的叶片点云完成三维重建。结果表明,构建的叶片模型能够较好的保留叶片的三维形态特征,可以为果树冠层重建和光照分布计算提供基础。     

基于三维点云的群体樱桃树冠层去噪和配准方法

樱桃树的栽培密度影响其冠层的光照分布,通过研究群体樱桃树的三维结构,可分析不同栽植密度下温室甜樱桃树冠层光照分布规律,指导樱桃树的科学种植,进而提高甜樱桃产量和品质。高质量的点云数据是构建群体樱桃树三维结构的基础,而点云去噪和点云配准是点云数据预处理的关键环节。本文提出一种基于三维点云的群体樱桃树去噪和配准方法,搭建群体樱桃树三维信息采集平台,使用2台固定的DK深度相机获取群体樱桃树彩色点云数据;提出基于颜色区域生长的二分类方法,设置颜色阈值分割点云并进行二分类处理,可有效去除彩色点云数据中的异常无效点,并设置点云离散度和RGB值,作为点云去噪评价标准;结合人工标记法和双相机位姿矩阵,提出基于颜色特征改进的ICP方法,解决传统ICP配准算法多依赖初始位姿且配准速度较慢的问题。该方法通过对点云粗配准,得到较好的初始位姿,使用SIFT算法提取颜色特征点,将颜色特征与ICP算法结合进行点云精配准,然后使用PCL中随机采样一致性算法,去除错误匹配点,有效减少配准时间,提高配准精度。以夏季和冬季的群体樱桃树20组点云数据为实验对象,对比分析ICP算法、NDT算法、SAC-IA算法和本文配准方法的配准精度和配准时间,结果表明,本文配准方法平均耗时分别为5.01、4.30s,均方根误差分别为2.316、2.100cm,有效减少了配准时间和配准误差,验证了本文算法的有效性和普适性。     

基于动态K阈值的苹果叶片点云聚类与生长参数提取

根据冠层点云的分布特征,提出一种基于动态K阈值的叶片点云聚类及生长参数提取方法。首先,采用地面三维激光扫描仪获取多站点云数据并完成配准、去噪和抽稀等预处理;然后,随机截取整株点云中的一枝作为研究对象,融合局部凹凸性算法(LCCP)并改进K-means算法,提出基于动态K阈值的叶片点云聚类方法;最后,采用主成分分析方法(PCA)计算叶片点云法平面方向向量,并根据叶片边界点与中心点的位置关系,计算叶宽、叶长等生长参数。试验结果表明,与传统的点云聚类方法相比,本文方法能够在不损失枝干点云的前提下,精确地分割单叶片,保证了聚类结果的完整性和彻底性;与传统的降维方法相比,本文基于真实三维空间信息提取叶片生长参数能够较大程度提高提取准确性,为进一步评价果树冠层光照分布及果园智能化管理提供技术支持。     

基于点云语义分割的猪只体尺测量方法研究

生猪的体尺参数是生猪生长状态的重要评判标准,而人工测量体尺耗时耗力且容易造成猪只的应激反应,本文研究了无接触式猪只体尺参数测量方法,借鉴人工测量经验法,提出基于点云语义分割的猪只体尺测量方法。本文以大约克夏猪为研究对象,搭建无接触式猪只点云采集平台,采集3 510组猪只双侧点云数据;利用直通滤波器与随机采样一致性分割处理方法去除背景点云,基于统计滤波器去除离群点,采用体素下采样方法稀疏点云,完成猪只点云的预处理;基于PointNet网络,结合注意力模块构建语义分割模型,针对不同分割部位设计猪只体尺测量方法。试验结果表明,在自制数据集上,改进的语义分割模型准确率为86.3%,相较于PointNet、PointNet++和3D-RCNN分别高8、5.7、2.6个百分点;体尺的测量值与实测值最大绝对误差为6.8 cm,平均绝对误差均在5 cm以内,具有较高的估算准确性,此方法能够用于猪只体尺测量。本文将语义分割与体尺测量相结合,可为后续非接触测量提供思路。