基于Kinect相机的苹果树三维点云配准

为建立具有真实彩色信息的果树三维点云形态结构模型,用Kinect相机获取不同视角下果树的原始三维点云,针对传统最近点迭代算法对待配准点云的空间位置要求苛刻的问题,提出了改进的点云配准算法。首先通过归一化对齐径向特征算法搜寻点云关键点,并使用快速点特征直方图描述子计算关键点处的特征向量。然后根据求得的特征向量估计2片点云关键点之间的空间映射关系,再基于随机抽样一致性算法提纯映射关系并完成点云的初始配准。最后利用最近点迭代算法完成点云的精确配准。实验结果表明,通过在最近点迭代算法前增加点云初始配准算法,有效地提高了点云配准的准确性和稳定性,能够对任意初始位置的2片点云进行准确匹配,平均配准误差为0.7 cm。     

基于SICK和Kinect的植株点云超限补偿信息融合

针对传统点云信息融合需要限制传感器之间位置以及繁杂标定和Kinect传感器室外工作受光照条件影响会出现目标边缘缺失的问题,提出了基于SICK和Kinect相机组合探测的植株点云超限补偿信息融合方法。首先采用SICK二维激光传感器融合实时行进速度传感器,实现对植株三维点云重构,同时通过Kinect传感器获取植株彩色和深度图像合成彩色点云,然后分别对SICK和Kinect异源点云进行阈值滤波预处理和体素栅格下采样,求取各点法线及快速点特征直方图,利用采样一致性初始配准方法使异源点云之间拥有较好的初始位置关系,再进一步使用ICP算法精确配准,通过近似最近邻搜索和超限补偿的方法完成点云信息融合。在超限补偿方法中,通过对比转换后点云间误差,判断数据有效性,实现对数据的最终融合。试验结果表明,本文方法可以有效、准确地实现不同点云之间的信息融合,并能有效抑制阳光的干扰。     

基于Kinect v2传感器的果树枝干三维重建方法

针对果树三维重构中存在建模精度低、成本高、拓扑结构差等问题,提出一种基于Kinect v2传感器的果树表型三维重建与骨架提取方法。首先,使用Kinect v2传感器采集不同视角下的果树点云数据;其次,对植株点云进行尺度不变特征变换的特征点检测,对关键点使用快速点特征直方图算法进行特征向量计算,通过随机抽样一致性方法提纯点云的初始位置,经初始变换后使用改进的迭代最近点算法进行精配准、拼接形成完整点云;最后,使用Delaunay三角剖分解构点云数据对缺失点云进行填充,使用Dijkstra最短路径算法对最小生成树进行求取,通过迭代去除冗余分量对骨架进行简化,使用圆柱拟合算法估算枝干骨架,将枝干骨架变为封闭凸包多面体,实现果树的枝干三维重建。实验结果表明：采用本文所提建模方法点云平均配准误差为0.52cm,枝干平均重构误差不超过3.52%,重建效果良好。研究成果可为果园评估作物状态、智能化修剪等研究提供数据支持。     

基于三维点云的群体樱桃树冠层去噪和配准方法

樱桃树的栽培密度影响其冠层的光照分布,通过研究群体樱桃树的三维结构,可分析不同栽植密度下温室甜樱桃树冠层光照分布规律,指导樱桃树的科学种植,进而提高甜樱桃产量和品质。高质量的点云数据是构建群体樱桃树三维结构的基础,而点云去噪和点云配准是点云数据预处理的关键环节。本文提出一种基于三维点云的群体樱桃树去噪和配准方法,搭建群体樱桃树三维信息采集平台,使用2台固定的DK深度相机获取群体樱桃树彩色点云数据;提出基于颜色区域生长的二分类方法,设置颜色阈值分割点云并进行二分类处理,可有效去除彩色点云数据中的异常无效点,并设置点云离散度和RGB值,作为点云去噪评价标准;结合人工标记法和双相机位姿矩阵,提出基于颜色特征改进的ICP方法,解决传统ICP配准算法多依赖初始位姿且配准速度较慢的问题。该方法通过对点云粗配准,得到较好的初始位姿,使用SIFT算法提取颜色特征点,将颜色特征与ICP算法结合进行点云精配准,然后使用PCL中随机采样一致性算法,去除错误匹配点,有效减少配准时间,提高配准精度。以夏季和冬季的群体樱桃树20组点云数据为实验对象,对比分析ICP算法、NDT算法、SAC-IA算法和本文配准方法的配准精度和配准时间,结果表明,本文配准方法平均耗时分别为5.01、4.30s,均方根误差分别为2.316、2.100cm,有效减少了配准时间和配准误差,验证了本文算法的有效性和普适性。     

基于Kinect相机的土壤表面三维点云配准方法

为了更好地建立土壤表面的三维点云形态结构模型,使用Kinect相机拍摄土壤表面,获取土壤表面的彩色图像和深度图像。针对传统最近点迭代算法对配准点云的空间位置要求比较严格的问题,采用了点云初始配准的方法。这种方法首先去除土壤表面深度图像的无用背景信息以及噪声,再对三维点云进行初始配准以及精确配准。在初始配准的过程中,对获取的土壤表面点云信息进行归一化对齐径向特征关键点搜索,得到具有代表性、且比较均匀的点云关键点,然后采用快速点特征值直方图的方法提取关键点的特征值,采用随机抽样一致性算法提纯映射关系,以此来完成点云的初始配准。最后采用最近点迭代算法完成土壤表面三维点云的精确配准。传统的最近点迭代算法的配准时间是58. 2 s,配准误差是3. 80 cm,改进后的方法配准时间为124. 8 s,配准误差为0. 89 cm。相比传统最近点迭代算法,改进后方法的配准时间虽延长了66. 6 s,但配准误差降低了2. 91 cm。结果表明,该方法简单,易于处理,成本较低,可以实现土壤表面的三维重建。     

基于快速点特征直方图的树木点云配准

随着农林业智能化与信息化发展,树木三维重建技术成为国内外研究的热点.为获取具有颜色信息的树木三维点云,需配准不同视角下的彩色点云数据,为果树三维重建提供基础数据.为此采用仿真树模拟果树,提出一种基于快速点特征直方图(FPFH)的树小点云配准方法,通过添加标定物增加具有稳定FPFH特征的点云个数,从而提高点对配准精度.首...     

基于Kinect相机的油麦菜自动化三维点云重建

为了解决传统三维点云重建过程中人工调参费时、费力,且精度得不到保障等问题,提出了一种三维点云自动化配准算法,并应用于油麦菜三维重建。使用Kinect相机采集油麦菜不同视角下的点云数据,通过配准实验分析配准参数的变化规律,继而建立了配准评价体系,实现了两片点云的自动化配准,并通过最小化匹配误差积累将多幅点云变换到同一基准坐标系下,实现了油麦菜三维重建。对随机选取的12株油麦菜进行自动化三维重建,结果表明,在两片点云重叠率不低于30%的前提下,本文算法可获得最优参数组合,自动全局配准平均距离误差为0.65cm,平均耗时为44.05s,具有较高的配准精确度和稳定性。本文算法能有效减少配准误差积累、构建较高精度的完整结构,可为其他作物三维重建提供参考。     

基于骨架点的矮化密植枣树三维点云自动配准

为了实现枣园的自动化管理,针对枣树自动化选择性冬剪作业要求,需要重建出矮化密植无叶枣树枝干的三维模型。利用2台固定的Azure Kinect DK深度相机搭建获取枣树点云信息的三维重建系统平台,然后把系统平台逆时针旋转55°获取同一棵枣树的另一帧三维点云信息。为了自动完成2帧点云的配准,提出了基于骨架点的枣树点云配准方法：首先利用FPFH特征描述子计算骨架点的特征向量,并采用SAC-IA（采样一致性）算法对2个视角下的枣树骨架点云进行初始匹配;其次利用经典的ICP算法对初始位姿进行优化;最终只采用2个视角下的点云重建枣树枝干的三维模型。实验对比了在3种典型自然环境下（晴天、阴天、夜间）枣树点云的配准精度和配准时间,结果表明：晴天时对采集系统有一定的影响,使得配准后的枣树枝干有部分不完整;阴天和夜间对采集系统影响小,能够重建出完整的枣树枝干;相对于阴天和夜间,晴天时,枣树点云配准耗时最少,为0.09s,而配准误差最大,其拟合分数为0.00029;阴天时,枣树点云配准时间介于晴天和夜间之间,为0.12s,而此时配准误差最小,其拟合分数为0.00011;夜间配准误差介于晴天和阴天,且此时配准时间最长,为0.16s。     

测量数据和区域精度加权的模型配准方法

模型配准广泛应用于零件加工定位及精度检测。使用光学扫描技术获得的三维点云数据疏密程度与曲面的曲率有关,每个测量点所代表的测量面积不同,因此在模型配准时每个测量点应具有不同作用。另外,由于设计要求和制造工艺等的影响,零件表面各区域的精度存在差异,故配准时要考虑这种区域精度差异以保证高精度区域的配准效果。提出一种基于测量数据疏密和区域精度的加权模型配准算法,通过复合权因子控制不同数据在配准中的作用,得到更加符合工程实况的配准结果。仿真和实测数据实验结果证明,对精度存在差异和曲率变化较大的曲面所提配准算法比最近点迭代算法更加实用和有效。     

基于旋转曲面轮廓特征的农田地表点云配准研究

作业场景重建可为智能农机自主作业提供全局信息与局部细节，针对因农田表面缺乏高区分度的点、线、面高层结构造成的特征描述性差、点云配准精度不足的问题，提出一种基于旋转曲面轮廓特征的农田地表点云配准方法。首先，采用32线激光雷达获取农田真实地表点云数据并完成去噪、降采样等预处理；然后，采用加权线性协方差矩阵的奇异值分解确定关键点唯一局部参考坐标系，并统计关键点与旋转曲面截面交点距离信息，生成地表点云的局部特征；最后，采用基于单特征初选与局部特征精匹配原则的多级特征匹配策略进行局部特征匹配，计算旋转矩阵与平移矩阵完成点云配准。试验结果表明，旋转曲面轮廓特征与其他特征相比，平均精度增加7.5个百分点，平均召回率增加24.09个百分点；多级特征匹配策略相对于最近邻搜索策略，平均精度增加12.68个百分点，平均召回率增加18.38个百分点；本文的点云配准方法的平均平移误差为23.59dr，平均旋转误差为3.72°，配准成功率为87.5%。因此，本文提出的基于旋转曲面轮廓特征的农田地表点云配准方法适用于真实农业地表无序点云的自动配准。     

基于RGB-D相机的油菜分枝三维重构与角果识别定位

为实现高效低成本的油菜植株三维建模和表型参数在线测量,提出一种基于RGB-D相机的油菜分枝三维重建和角果识别定位方法。使用Kinect传感器拍摄角果期油菜分枝在4个视角下的彩色图像和深度图像,进而获取油菜植株的三维点云并滤波。对配准的点云进行旋转变换,计算点云的曲面法矢量和曲率,并由曲率相近的点构成配对点对,再使用基于KD-tree搜索的最近点迭代(ICP)算法实现点云的初配准。将初配准误差作为参考值,调整ICP算法的对应点距离阈值,使用初配准的操作流程对初配准得到的新点云进行再次配准,完成精配准。结合该三维重建方法和针对性的彩色图像处理方法,得到去除主茎的单分枝油菜角果的完整点云,再进行欧氏聚类实现单个角果的空间定位。实验结果表明,提出的三维重建方法具有较强的实时性和鲁棒性,单个角果的三维形态清晰可见,点云平均距离误差小于0. 48 mm,角果总体识别正确率不小于96. 76%。     

基于关键点预测的装配机器人工件视觉定位技术

针对目前装配机器人基于手工的特征检测易受光照条件、背景和遮挡等干扰因素的影响,而基于点云特征检测又依赖模型构建精度,本文采用深度学习的方式,对基于关键点预测的工件视觉定位技术展开研究。首先,采集工件各个角度的深度图像,计算得到工件的位姿信息,选取工件表面的关键点作为数据集。然后,构造工件表面关键点的向量场,与数据集一同进行深度训练,以实现前景点指向关键点的向量场预测。之后,将向量场中各像素指向同一关键点的方向向量每两个划分为一组,取其向量交点生成关键点的假设,并基于RANSAC的投票对所有假设进行评价。使用EPnP求解器计算工件位姿,并生成工件的有向包围盒显示位姿估计结果。最后,通过实验验证了系统估计结果的准确性和鲁棒性。     

基于关键点预测的装配机器人工件视觉定位技术

针对目前装配机器人基于手工的特征检测易受光照条件、背景和遮挡等干扰因素的影响,而基于点云特征检测又依赖模型构建精度,本文采用深度学习的方式,对基于关键点预测的工件视觉定位技术展开研究。首先,采集工件各个角度的深度图像,计算得到工件的位姿信息,选取工件表面的关键点作为数据集。然后,构造工件表面关键点的向量场,与数据集一同进行深度训练,以实现前景点指向关键点的向量场预测。之后,将向量场中各像素指向同一关键点的方向向量每两个划分为一组,取其向量交点生成关键点的假设,并基于RANSAC的投票对所有假设进行评价。使用EPnP求解器计算工件位姿,并生成工件的有向包围盒显示位姿估计结果。最后,通过实验验证了系统估计结果的准确性和鲁棒性。     

基于深度相机的玉米株型参数提取方法研究

提出了一种基于骨架提取的改进算法,可实现在大田环境下,使用PMD深度相机快速、无损测量玉米株型参数。首先利用深度图像RGB伪彩色和深度距离信息,提取深度图像的骨架,排除复杂背景干扰,得到单株玉米的二值骨架图像;然后利用基于角点检测的改进归类算法提取骨架图像特征点;最后建立骨架图像中特征点与深度图像的对应关系,利用空间几何数学方法,结合特征点计算出玉米的3种株型参数,即株高、茎粗、叶倾角。农田实验对比分析表明,所提方法的株高测量结果与人工测量结果的相关系数 r 为0.986,最大相对误差小于2 cm,农田作物育种抗逆性分析还表明玉米株型参数与抗倒伏性具有显著相关性。     

基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究

传统的人工种苗表型测量方式存在效率低、主观性强、误差大、破坏种苗等问题，提出了一种使用RGB-D相机的黄瓜苗表型无损测量方法。研制了自动化多视角图像采集平台，布署两台Azure Kinect相机同时拍摄俯视和侧视两个视角的彩色、深度、红外和RGB-D对齐图像。使用Mask R-CNN网络分割近红外图像中的叶片和茎秆，再与对齐图进行掩膜，消除了对齐图中的背景噪声与重影并得到叶片和茎秆器官的对齐图像。网络实例分割结果的类别和数量即为子叶和真叶的数量。使用CycleGAN网络处理单个叶片的对齐图，对缺失部分进行修补并转换为3D点云，再对点云进行滤波实现保边去噪，最后对点云进行三角化测量叶面积。在Mask R-CNN分割得到的茎秆对齐图像中，利用茎秆的近似矩形特征，分别计算茎秆的长和宽，再结合深度信息转换为下胚轴长和茎粗。使用YOLO v5s检测对齐图中的黄瓜苗生长点，利用生长点与基质的高度差计算株高。实验结果表明，该系统具有很好的通量和精度，对子叶时期、1叶1心时期和2叶1心时期的黄瓜苗关键表型测量平均绝对误差均不高于8.59%、R²不低于0.83,可以很好地替代人工测...