基于Kinect相机的苹果树三维点云配准

为建立具有真实彩色信息的果树三维点云形态结构模型,用Kinect相机获取不同视角下果树的原始三维点云,针对传统最近点迭代算法对待配准点云的空间位置要求苛刻的问题,提出了改进的点云配准算法。首先通过归一化对齐径向特征算法搜寻点云关键点,并使用快速点特征直方图描述子计算关键点处的特征向量。然后根据求得的特征向量估计2片点云关键点之间的空间映射关系,再基于随机抽样一致性算法提纯映射关系并完成点云的初始配准。最后利用最近点迭代算法完成点云的精确配准。实验结果表明,通过在最近点迭代算法前增加点云初始配准算法,有效地提高了点云配准的准确性和稳定性,能够对任意初始位置的2片点云进行准确匹配,平均配准误差为0.7 cm。     

遮挡条件下多视角甜椒果实点云三维重构方法

为进行表型原位自动化测量,实现甜椒数字化育种和管理,针对原位果实表型测量中的目标遮挡问题,提出一种多视角甜椒果实点云的三维重构方法。通过虚拟叶片的方法,创建增强数据集,建立基于YOLO v5算法的甜椒果实识别模型,实现对不同遮挡程度果实的识别,同时,构建考虑果实位置与遮挡程度的果实表型采集算法,实现多视角的果实三维数据采集。最后,配准甜椒果实三维点云,提取甜椒表型参数,并通过温室甜椒果实表型,对点云重构方法的有效性进行验证。相较手动测量数据,果实果宽平均相对误差为1.72%,果高平均相对误差为1.60%。试验结果表明,本文所提出的甜椒原位表型点云重构方法,可为遮挡条件下作物表型提供有效的解决思路和可行方法。     

基于多视角三维点云融合的采棉机器人视觉感知方法

针对传统采棉机器人因单一视角和二维图像信息带来的视觉感知局限问题,本文提出了一种多视角三维点云配准方法,以增强采棉机器人实时三维视觉感知能力。采用4台固定位姿的Realsense D435型深度相机,从不同视角获取棉花点云数据。通过AprilTags算法标定出深度相机RGB成像模块与Tag标签的相对位姿,并基于深度相机中RGB成像模块与立体成像模块坐标系间的转换关系,解算出各个相机间点云坐标的对应变换,进而实现点云间的融合配准。结果表明,本文配准方法的全局配准平均距离误差为0.93cm,平均配准时间为0.025s,表现出较高的配准精度和效率。同时,为满足采棉机器人感知的实时性要求,本文对算法中点云获取、背景滤波和融合配准等步骤进行了效率分析及优化,最终整体算法运行速度达到29.85f/s,满足采棉机器人感知系统实时性需求。     

基于快速点特征直方图的树木点云配准

随着农林业智能化与信息化发展,树木三维重建技术成为国内外研究的热点。为获取具有颜色信息的树木三维点云,需配准不同视角下的彩色点云数据,为果树三维重建提供基础数据。为此采用仿真树模拟果树,提出一种基于快速点特征直方图(FPFH)的树木点云配准方法,通过添加标定物增加具有稳定FPFH特征的点云个数,从而提高点对配准精度。首先,采用第二代Kinect相机获取树木多个视角的RGB图像和深度图像,通过数据融合、背景去除、滤波等预处理步骤,得到待配准的树木彩色点云数据。然后,使用采样一致性初始配准算法(SAC-IA)根据FPFH特征寻找不同视角下的匹配点对,求取近似变换矩阵。最后,采用最近点迭代算法(ICP)优化初始配准结果。此外,探讨Kinect采集距离、高度、视角差对配准精度的影响,确定最佳的数据采集方式：相机到树木中心的距离为2 m,相机高度为10 cm,每次扫描间隔45°。试验结果表明：设置标定物可以获取鉴别力更强的FPFH特征,提高配准精度,最终配准误差小于1.9 cm。     

基于骨架点的矮化密植枣树三维点云自动配准

为了实现枣园的自动化管理,针对枣树自动化选择性冬剪作业要求,需要重建出矮化密植无叶枣树枝干的三维模型。利用2台固定的Azure Kinect DK深度相机搭建获取枣树点云信息的三维重建系统平台,然后把系统平台逆时针旋转55°获取同一棵枣树的另一帧三维点云信息。为了自动完成2帧点云的配准,提出了基于骨架点的枣树点云配准方法：首先利用FPFH特征描述子计算骨架点的特征向量,并采用SAC-IA（采样一致性）算法对2个视角下的枣树骨架点云进行初始匹配;其次利用经典的ICP算法对初始位姿进行优化;最终只采用2个视角下的点云重建枣树枝干的三维模型。实验对比了在3种典型自然环境下（晴天、阴天、夜间）枣树点云的配准精度和配准时间,结果表明：晴天时对采集系统有一定的影响,使得配准后的枣树枝干有部分不完整;阴天和夜间对采集系统影响小,能够重建出完整的枣树枝干;相对于阴天和夜间,晴天时,枣树点云配准耗时最少,为0.09s,而配准误差最大,其拟合分数为0.00029;阴天时,枣树点云配准时间介于晴天和夜间之间,为0.12s,而此时配准误差最小,其拟合分数为0.00011;夜间配准误差介于晴天和阴天,且此时配准时间最长,为0.16s。     

基于GICP算法的深度相机点云融合方法研究

深度相机能为机器人提供深度视觉信息,但单个深度相机视角范围小,使得机器人对外部障碍物的感知并不完全。对多深度相机点云进行融合,是扩展机器人视角的重要方法。本研究提出一种基于改进GICP(Generalized ICP)算法实现双深度相机点云融合的方法。该算法通过对双相机不同视角采集的点云数据进行匹配,以达到点云融合的目的。针对采集的数据集,对GICP算法添加剔除无效点及体素下采样方法,大大提高了配准速度,最终完成了点云数据的融合。     

基于SICK和Kinect的植株点云超限补偿信息融合

针对传统点云信息融合需要限制传感器之间位置以及繁杂标定和Kinect传感器室外工作受光照条件影响会出现目标边缘缺失的问题,提出了基于SICK和Kinect相机组合探测的植株点云超限补偿信息融合方法。首先采用SICK二维激光传感器融合实时行进速度传感器,实现对植株三维点云重构,同时通过Kinect传感器获取植株彩色和深度图像合成彩色点云,然后分别对SICK和Kinect异源点云进行阈值滤波预处理和体素栅格下采样,求取各点法线及快速点特征直方图,利用采样一致性初始配准方法使异源点云之间拥有较好的初始位置关系,再进一步使用ICP算法精确配准,通过近似最近邻搜索和超限补偿的方法完成点云信息融合。在超限补偿方法中,通过对比转换后点云间误差,判断数据有效性,实现对数据的最终融合。试验结果表明,本文方法可以有效、准确地实现不同点云之间的信息融合,并能有效抑制阳光的干扰。     

基于改进SIFT-ICP算法的Kinect植株点云配准方法

针对传统配准方法准确度低、速度慢的问题,提出了基于改进SIFT-ICP算法的彩色植株点云配准方法。首先采用Kinect获取不同视角下植株彩色图像和深度图像合成原始植株彩色点云,通过预处理提取原始点云植株信息,对植株点云进行尺度不变特征变换(SIFT)的特征点检测,得到点云配准关键点,再对关键点进行自适应法线估计,然后求取关键点的快速点特征直方图(FPFH),通过采样一致性(SAC-IA)初始配准方法改进点云间初始位置关系,最后利用Nanoflann加速最近点迭代(ICP)算法完成精确配准。试验结果表明,改进SIFT-ICP算法可以大幅度提高点云配准的准确性和快速性,其中对应点间平均欧氏距离小于7 mm,配准时间小于30 s。     

基于RGB-D相机的果树三维重构与果实识别定位

为实现对果园果实机器人采摘提供科学可靠的技术指导,提出了一种基于RGB-D相机的苹果果树三维重构以及进行果实立体识别与定位的方法。使用RGB-D相机快速获取自然光照条件下果树的彩色图像和深度图像,通过融合果树图像彩色信息和深度信息实现了果树的三维重构;对果树的三维点云进行 R-G 的色差阈值分割和滤波去噪处理,获得果实区域的点云信息;基于随机采样一致性的点云分割方法对果实点云进行三维球体形状提取,得到每个果实质心的三维空间位置信息和果实半径。实验结果表明,提出的果树三维重构和果实立体识别与定位方法具有较强的实时性和鲁棒性,在0.8~2.0 m测量范围内,顺光和逆光环境中果实正确识别率分别达95.5%和88.5%;在果实拍摄面的点云区域被遮挡面积超过50%的情况下正确识别率达87.4%;果实平均深度定位偏差为8.1 mm;果实平均半径偏差为4.5 mm。     

基于点云配准的盆栽金桔果实识别与计数方法

为解决整株盆栽金桔果实识别及总体计数问题,提出了基于三维点云配准的金桔果实识别方法。首先,使用RGB-D相机采集植物多角度点云数据并进行背景去除和去噪处理。然后采用随机采样一致性(Random sample consensus, RANSAC)算法进行圆柱拟合获得旋转中心轴参数,将点云绕中心轴旋转固定角度完成初配准,之后采用点到面的迭代最近点(Iterative closest point, ICP)算法完成精配准得到完整点云。最后,对点云进行欧氏聚类分割,采用随机采样一致性算法对聚类后点云进行球形分割,获得每个果实的三维空间位置并计数。本研究对9株盆栽金桔(共149个果实)进行识别,总计识别查全率为85.91%,查准率为79.01%,F1值为82.32%,果实数量预测值和真实值的决定系数为0.97,平均绝对百分比误差为16.02%。实验结果表明,本文方法不依赖颜色信息,能够有效识别整株植物中未成熟的青色果实,可为果实识别与产量估计等研究提供参考。     

基于视触觉感知的番茄尺寸和姿态解析方法

针对传统农业机器人抓取过程中视觉识别番茄果实尺寸和姿态存在枝叶遮挡的问题,提出了一种基于视触觉感知的番茄尺寸和姿态解析方法。在果实抓取过程中通过视触觉传感器得到果实外轮廓接触局部点云信息,然后通过相机参数标定以及各手指关节变换矩阵,将不同传感器坐标系下的点云信息变换到同一基坐标系下,进而通过点云改进PCA算法和ICP算法解析抓取果实的尺寸和姿态信息。为了评估所提出解析方法的性能,在实验室环境下进行了番茄尺寸和姿态检测试验。通过游标卡尺测量和深度相机扫描分别获得番茄果实尺寸和姿态的真实值,并与本文方法解析结果进行对比。检测试验结果表明,本文方法获得的番茄横向尺寸和纵向尺寸平均相对误差分别为8.66%和11.08%,番茄果轴与视场投影面的水平夹角和垂直偏转角平均相对误差分别为10.03%和14.02%。本文方法解析的番茄果实尺寸与姿态信息,可应用于番茄果实抓取过程中的姿态调控,从而提高番茄果实抓取采摘的可靠性。     

基于RGB-D相机的油菜分枝三维重构与角果识别定位

为实现高效低成本的油菜植株三维建模和表型参数在线测量,提出一种基于RGB-D相机的油菜分枝三维重建和角果识别定位方法。使用Kinect传感器拍摄角果期油菜分枝在4个视角下的彩色图像和深度图像,进而获取油菜植株的三维点云并滤波。对配准的点云进行旋转变换,计算点云的曲面法矢量和曲率,并由曲率相近的点构成配对点对,再使用基于KD-tree搜索的最近点迭代(ICP)算法实现点云的初配准。将初配准误差作为参考值,调整ICP算法的对应点距离阈值,使用初配准的操作流程对初配准得到的新点云进行再次配准,完成精配准。结合该三维重建方法和针对性的彩色图像处理方法,得到去除主茎的单分枝油菜角果的完整点云,再进行欧氏聚类实现单个角果的空间定位。实验结果表明,提出的三维重建方法具有较强的实时性和鲁棒性,单个角果的三维形态清晰可见,点云平均距离误差小于0. 48 mm,角果总体识别正确率不小于96. 76%。     

遮挡条件下基于MSF-PPD网络的绿萝叶片点云补全方法

针对在自然场景中,由于遮挡、视角限制和操作不当等问题,导致传感器获取的植物或器官点云不完整,提出了一种基于多尺度特征提取模块结合点云金字塔解码器(Multi-scale feature extraction model with point cloud pyramid decoder,MSF-PPD)的叶片形状补全网络。首先,采用多尺度特征提取模块实现不同维度特征信息的全局提取和融合,其次,通过点云金字塔解码器进行叶片点云的多阶段生成补全,最终得到完整的目标叶片形状。使用曲面参数方程构建绿萝叶片仿真模型库,并将其离散成点云作为网络模型训练的训练集和验证集,使用Kinect v2相机获取绿萝叶片点云作为网络模型补全性能评估的测试集。试验结果表明,本文网络结构对叶片点云补全的效果理想,证明本文方法能够对遮挡情况下的绿萝叶片进行高效、完整的补全。     

基于Kinect相机的油麦菜自动化三维点云重建

为了解决传统三维点云重建过程中人工调参费时、费力,且精度得不到保障等问题,提出了一种三维点云自动化配准算法,并应用于油麦菜三维重建。使用Kinect相机采集油麦菜不同视角下的点云数据,通过配准实验分析配准参数的变化规律,继而建立了配准评价体系,实现了两片点云的自动化配准,并通过最小化匹配误差积累将多幅点云变换到同一基准坐标系下,实现了油麦菜三维重建。对随机选取的12株油麦菜进行自动化三维重建,结果表明,在两片点云重叠率不低于30%的前提下,本文算法可获得最优参数组合,自动全局配准平均距离误差为0.65cm,平均耗时为44.05s,具有较高的配准精确度和稳定性。本文算法能有效减少配准误差积累、构建较高精度的完整结构,可为其他作物三维重建提供参考。     

基于相机与激光雷达融合的温室机器人行间导航方法

针对温室颠簸不平、枝叶遮挡道路的复杂环境,开展基于相机与激光雷达数据融合的机器人行间导航方法研究。首先,利用改进的U-Net模型实现图像道路区域的准确快速分割;其次,通过融合图像分割结果进行地面点云预分割,减少地面起伏造成的点云倾斜;然后,采用改进的KMeans算法实现作物行点云快速聚类,并将聚类中心作为作物行主干区域点,降低枝叶遮挡对作物行中线提取的影响;最后,采用RANSAC算法拟合两侧作物行方程并计算出导航线。通过实验评估导航线精度,在测试集中94%以上数据帧可以准确实现提取导航线,平均角度误差不高于1.45°,满足温室机器人沿作物行自主导航行驶要求。     

基于视觉标志检测的旋翼无人机姿态估计方法

为了使旋翼无人机快速、精确、自主降落到地面着陆平台,提出一种基于视觉标志检测的无人机姿态估计方法。首先,利用标准直升机停机坪的几何特征,采用标志五步提取算法从机载摄像头采集的图像中获取视觉标志;为了满足无人机自主着陆过程的快速性和实时性,提出一种基于距离三点法的角点检测算法,得到H形标志的12个角点;然后,通过对角点分类、编号,并与参考图像中的对应角点进行匹配,解算出包含相对姿态信息的单应矩阵;最后,应用直接线性变换(Direct linear transformation,DLT)分解单应矩阵得到无人机的姿态角,并依据相机成像的相似三角形原理计算出无人机相对于视觉标志的位置,解决了单目相机尺度不确定性问题。通过实验平台模拟无人机不同飞行状态下的姿态并进行估计,对提出算法的实时性和准确性进行了实验验证。实验结果表明:本文算法的平均执行时间为307. 2 ms,位置估计的最大均方根误差为0. 006 2 m,姿态角估计的最大均方根误差为0. 313°,满足无人机自主着陆的准确性和实时性要求。     

基于三维点云的运输车粮箱动态均匀装载方法研究

为了解决联合收获机运输车协同作业时,运输车粮箱装载不均匀,导致粮箱装载利用率低的问题,提出了一种基于三维点云的动态均匀装载方法。该方法利用相机获取运输车粮箱内装载物的三维点云作为状态反馈信息,建立装载均匀性评估方式,以最均匀装载状态为目标,通过实时调整卸料装载点位置,使粮箱保持在均匀的装载状态。针对装载物相互遮挡对相机形成视觉盲区的问题,通过建立装载物的堆体模型和相机的遮挡模型,以最小期望误差为目标对盲区内装载物高度进行估计,并据此进行点云填充,从而得到能完整反映粮箱装载状态的三维点云。在搭建平台进行的实验中,对粮箱装载过程中可能出现的轻载、中载和重载3种装载状态进行测量,并对盲区点云位置进行估计,其盲区估计的平均误差低于5cm。仿真结果表明,动态均匀装载方法能在有限装载周期内,将粮箱从任意的初始装载状态装载为均匀状态。单次装载量的平均高度增量为2cm、粮箱的初始装载状态为空载时,装载物的最大高度方差为1cm2。单因素仿真结果表明,稳定状态下的装载物高度方差与单次装载量正相关。     

基于三维点云的运输车粮箱动态均匀装载方法研究

为了解决联合收获机-运输车协同作业时,运输车粮箱装载不均匀,导致粮箱装载利用率低的问题,提出了一种基于三维点云的动态均匀装载方法。该方法利用相机获取运输车粮箱内装载物的三维点云作为状态反馈信息,建立装载均匀性评估方式,以最均匀装载状态为目标,通过实时调整卸料装载点位置,使粮箱保持在均匀的装载状态。针对装载物相互遮挡对相机形成视觉盲区的问题,通过建立装载物的堆体模型和相机的遮挡模型,以最小期望误差为目标对盲区内装载物高度进行估计,并据此进行点云填充,从而得到能完整反映粮箱装载状态的三维点云。在搭建平台进行的实验中,对粮箱装载过程中可能出现的轻载、中载和重载3种装载状态进行测量,并对盲区点云位置进行估计,其盲区估计的平均误差低于5 cm。仿真结果表明,动态均匀装载方法能在有限装载周期内,将粮箱从任意的初始装载状态装载为均匀状态。单次装载量的平均高度增量为2 cm、粮箱的初始装载状态为空载时,装载物的最大高度方差为1 cm²。单因素仿真结果表明,稳定状态下的装载物高度方差与单次装载量正相关。     

基于Kinect相机的土壤表面三维点云配准方法

为了更好地建立土壤表面的三维点云形态结构模型,使用Kinect相机拍摄土壤表面,获取土壤表面的彩色图像和深度图像。针对传统最近点迭代算法对配准点云的空间位置要求比较严格的问题,采用了点云初始配准的方法。这种方法首先去除土壤表面深度图像的无用背景信息以及噪声,再对三维点云进行初始配准以及精确配准。在初始配准的过程中,对获取的土壤表面点云信息进行归一化对齐径向特征关键点搜索,得到具有代表性、且比较均匀的点云关键点,然后采用快速点特征值直方图的方法提取关键点的特征值,采用随机抽样一致性算法提纯映射关系,以此来完成点云的初始配准。最后采用最近点迭代算法完成土壤表面三维点云的精确配准。传统的最近点迭代算法的配准时间是58. 2 s,配准误差是3. 80 cm,改进后的方法配准时间为124. 8 s,配准误差为0. 89 cm。相比传统最近点迭代算法,改进后方法的配准时间虽延长了66. 6 s,但配准误差降低了2. 91 cm。结果表明,该方法简单,易于处理,成本较低,可以实现土壤表面的三维重建。     

基于MRE-PointNet+AE的绿萝叶片外形参数估测算法

为了准确、高效、自动获取植物叶片外形参数,提出一种基于多分辨率编码点云深度学习网络(MRE-PointNet)和自编码器模型的绿萝叶片外形参数估测算法.使用Kinect V2相机以垂直姿态获取绿萝叶片点云数据,采用直通滤波、分割、点云精简算法对数据进行预处理,通过测定的叶片外形参数反演绿萝叶片几何模型,并计算几何模型的...