基于改进SIFT-ICP算法的Kinect植株点云配准方法

针对传统配准方法准确度低、速度慢的问题,提出了基于改进SIFT-ICP算法的彩色植株点云配准方法。首先采用Kinect获取不同视角下植株彩色图像和深度图像合成原始植株彩色点云,通过预处理提取原始点云植株信息,对植株点云进行尺度不变特征变换(SIFT)的特征点检测,得到点云配准关键点,再对关键点进行自适应法线估计,然后求取关键点的快速点特征直方图(FPFH),通过采样一致性(SAC-IA)初始配准方法改进点云间初始位置关系,最后利用Nanoflann加速最近点迭代(ICP)算法完成精确配准。试验结果表明,改进SIFT-ICP算法可以大幅度提高点云配准的准确性和快速性,其中对应点间平均欧氏距离小于7 mm,配准时间小于30 s。     

基于Kinect相机的苹果树三维点云配准

为建立具有真实彩色信息的果树三维点云形态结构模型,用Kinect相机获取不同视角下果树的原始三维点云,针对传统最近点迭代算法对待配准点云的空间位置要求苛刻的问题,提出了改进的点云配准算法。首先通过归一化对齐径向特征算法搜寻点云关键点,并使用快速点特征直方图描述子计算关键点处的特征向量。然后根据求得的特征向量估计2片点云关键点之间的空间映射关系,再基于随机抽样一致性算法提纯映射关系并完成点云的初始配准。最后利用最近点迭代算法完成点云的精确配准。实验结果表明,通过在最近点迭代算法前增加点云初始配准算法,有效地提高了点云配准的准确性和稳定性,能够对任意初始位置的2片点云进行准确匹配,平均配准误差为0.7 cm。     

基于Kinect v2传感器的果树枝干三维重建方法

针对果树三维重构中存在建模精度低、成本高、拓扑结构差等问题,提出一种基于Kinect v2传感器的果树表型三维重建与骨架提取方法。首先,使用Kinect v2传感器采集不同视角下的果树点云数据;其次,对植株点云进行尺度不变特征变换的特征点检测,对关键点使用快速点特征直方图算法进行特征向量计算,通过随机抽样一致性方法提纯点云的初始位置,经初始变换后使用改进的迭代最近点算法进行精配准、拼接形成完整点云;最后,使用Delaunay三角剖分解构点云数据对缺失点云进行填充,使用Dijkstra最短路径算法对最小生成树进行求取,通过迭代去除冗余分量对骨架进行简化,使用圆柱拟合算法估算枝干骨架,将枝干骨架变为封闭凸包多面体,实现果树的枝干三维重建。实验结果表明：采用本文所提建模方法点云平均配准误差为0.52cm,枝干平均重构误差不超过3.52%,重建效果良好。研究成果可为果园评估作物状态、智能化修剪等研究提供数据支持。     

基于多角度Kinect v2的羊只三维模型重构方法研究

羊只的体尺参数是衡量其生长发育状况、生产性能和遗传特性的关键指标。重建羊只的三维模型可以为自动化获取多种羊只体尺参数提供数据基础,因此提出一种基于多角度Kinect v2的羊只三维模型重构方法。该方法通过放置在羊只顶部和左右两个侧面的Kinect v2设备,获取羊只的三维点云数据;利用这些数据中的点云之间的相对位置关系,进行点云坐标的转换和初始配准;采用ICP算法进行精确配准建立三维模型。结果表明：当Kinect v2深度相机高度为120 cm、俯视角为30°时,获取的点云质量较高,自动配准的平均误差为0.233 cm,平均耗时为12.89 s。根据模型计算出的羊只体高、体斜长、十字部高和腰脚宽等体尺参数与实际测量平均误差均在5%以内。     

基于Kinect相机的土壤表面三维点云配准方法

为了更好地建立土壤表面的三维点云形态结构模型,使用Kinect相机拍摄土壤表面,获取土壤表面的彩色图像和深度图像。针对传统最近点迭代算法对配准点云的空间位置要求比较严格的问题,采用了点云初始配准的方法。这种方法首先去除土壤表面深度图像的无用背景信息以及噪声,再对三维点云进行初始配准以及精确配准。在初始配准的过程中,对获取的土壤表面点云信息进行归一化对齐径向特征关键点搜索,得到具有代表性、且比较均匀的点云关键点,然后采用快速点特征值直方图的方法提取关键点的特征值,采用随机抽样一致性算法提纯映射关系,以此来完成点云的初始配准。最后采用最近点迭代算法完成土壤表面三维点云的精确配准。传统的最近点迭代算法的配准时间是58. 2 s,配准误差是3. 80 cm,改进后的方法配准时间为124. 8 s,配准误差为0. 89 cm。相比传统最近点迭代算法,改进后方法的配准时间虽延长了66. 6 s,但配准误差降低了2. 91 cm。结果表明,该方法简单,易于处理,成本较低,可以实现土壤表面的三维重建。     

基于三维点云的群体樱桃树冠层去噪和配准方法

樱桃树的栽培密度影响其冠层的光照分布,通过研究群体樱桃树的三维结构,可分析不同栽植密度下温室甜樱桃树冠层光照分布规律,指导樱桃树的科学种植,进而提高甜樱桃产量和品质。高质量的点云数据是构建群体樱桃树三维结构的基础,而点云去噪和点云配准是点云数据预处理的关键环节。本文提出一种基于三维点云的群体樱桃树去噪和配准方法,搭建群体樱桃树三维信息采集平台,使用2台固定的DK深度相机获取群体樱桃树彩色点云数据;提出基于颜色区域生长的二分类方法,设置颜色阈值分割点云并进行二分类处理,可有效去除彩色点云数据中的异常无效点,并设置点云离散度和RGB值,作为点云去噪评价标准;结合人工标记法和双相机位姿矩阵,提出基于颜色特征改进的ICP方法,解决传统ICP配准算法多依赖初始位姿且配准速度较慢的问题。该方法通过对点云粗配准,得到较好的初始位姿,使用SIFT算法提取颜色特征点,将颜色特征与ICP算法结合进行点云精配准,然后使用PCL中随机采样一致性算法,去除错误匹配点,有效减少配准时间,提高配准精度。以夏季和冬季的群体樱桃树20组点云数据为实验对象,对比分析ICP算法、NDT算法、SAC-IA算法和本文配准方法的配准精度和配准时间,结果表明,本文配准方法平均耗时分别为5.01、4.30s,均方根误差分别为2.316、2.100cm,有效减少了配准时间和配准误差,验证了本文算法的有效性和普适性。     

基于单目SLAM的实时场景三维重建

针对单目SLAM(实时定位与重建)三维重建点云精度与运动实时性成负相关的问题,提出了一种基于单目视觉里程计融合激光传感器的方法,实现运动物体周边环境的实时点云自动配准与场景三维重建,在保证实时性的情况下获得更为精确的点云数据。针对图像传感器和激光传感器返回数据的特点,提出一种相机与激光传感器空间相对姿态的标定方法。针对单目视觉里程计的尺度模糊问题,提出了一种基于激光传感器的离线尺度标定算法,从而实现了里程计的位姿信息与激光传感器数据的匹配,达到实时点云自动配准的效果。     

基于激光雷达的农田环境点云采集系统设计

设计了基于激光雷达的农田环境点云采集系统,可实现农田环境点云与农机位置姿态的稳定、可靠采集;设计了多传感器数据的采集软件,可实现准确、一致的全局点云数据获取。系统以拖拉机为移动载体,由点云数据采集模块、车体位姿采集模块和数据融合模块组成。其中,点云数据采集模块可获取周边环境点云数据,并解决近距离盲区问题;车体位姿采集模块可实时获取农机位置和姿态信息;数据融合模块可接收并融合环境点云数据与车体位姿数据,进而获取位姿补偿后的点云数据。系统实现了各传感器数据的在线采集、时间同步与空间配准,以及数据的实时显示与存储。在农田环境下进行点云采集试验,结果表明,采集系统具有良好的户外工作稳定性,在线典型丢帧率不超过1%,离线典型丢帧率不超过0. 47%,能够满足农田点云数据采集的要求。为分析系统采集点云数据质量,将经过位姿补偿的点云与原始点云分别进行直通滤波地面点滤除,结果表明,位姿补偿后的点云经滤波后仅包含少量地面点云,可作为农机自主导航避障的可靠数据。     

基于骨架点的矮化密植枣树三维点云自动配准

为了实现枣园的自动化管理,针对枣树自动化选择性冬剪作业要求,需要重建出矮化密植无叶枣树枝干的三维模型。利用2台固定的Azure Kinect DK深度相机搭建获取枣树点云信息的三维重建系统平台,然后把系统平台逆时针旋转55°获取同一棵枣树的另一帧三维点云信息。为了自动完成2帧点云的配准,提出了基于骨架点的枣树点云配准方法：首先利用FPFH特征描述子计算骨架点的特征向量,并采用SAC-IA（采样一致性）算法对2个视角下的枣树骨架点云进行初始匹配;其次利用经典的ICP算法对初始位姿进行优化;最终只采用2个视角下的点云重建枣树枝干的三维模型。实验对比了在3种典型自然环境下（晴天、阴天、夜间）枣树点云的配准精度和配准时间,结果表明：晴天时对采集系统有一定的影响,使得配准后的枣树枝干有部分不完整;阴天和夜间对采集系统影响小,能够重建出完整的枣树枝干;相对于阴天和夜间,晴天时,枣树点云配准耗时最少,为0.09s,而配准误差最大,其拟合分数为0.00029;阴天时,枣树点云配准时间介于晴天和夜间之间,为0.12s,而此时配准误差最小,其拟合分数为0.00011;夜间配准误差介于晴天和阴天,且此时配准时间最长,为0.16s。     

基于RGB-D相机的油菜分枝三维重构与角果识别定位

为实现高效低成本的油菜植株三维建模和表型参数在线测量,提出一种基于RGB-D相机的油菜分枝三维重建和角果识别定位方法。使用Kinect传感器拍摄角果期油菜分枝在4个视角下的彩色图像和深度图像,进而获取油菜植株的三维点云并滤波。对配准的点云进行旋转变换,计算点云的曲面法矢量和曲率,并由曲率相近的点构成配对点对,再使用基于KD-tree搜索的最近点迭代(ICP)算法实现点云的初配准。将初配准误差作为参考值,调整ICP算法的对应点距离阈值,使用初配准的操作流程对初配准得到的新点云进行再次配准,完成精配准。结合该三维重建方法和针对性的彩色图像处理方法,得到去除主茎的单分枝油菜角果的完整点云,再进行欧氏聚类实现单个角果的空间定位。实验结果表明,提出的三维重建方法具有较强的实时性和鲁棒性,单个角果的三维形态清晰可见,点云平均距离误差小于0. 48 mm,角果总体识别正确率不小于96. 76%。     

基于快速点特征直方图的树木点云配准

随着农林业智能化与信息化发展,树木三维重建技术成为国内外研究的热点.为获取具有颜色信息的树木三维点云,需配准不同视角下的彩色点云数据,为果树三维重建提供基础数据.为此采用仿真树模拟果树,提出一种基于快速点特征直方图(FPFH)的树小点云配准方法,通过添加标定物增加具有稳定FPFH特征的点云个数,从而提高点对配准精度.首...     

遮挡条件下基于MSF-PPD网络的绿萝叶片点云补全方法

针对在自然场景中,由于遮挡、视角限制和操作不当等问题,导致传感器获取的植物或器官点云不完整,提出了一种基于多尺度特征提取模块结合点云金字塔解码器（Multi scale feature extraction model with point cloud pyramid decoder,MSF-PPD）的叶片形状补全网络。首先,采用多尺度特征提取模块实现不同维度特征信息的全局提取和融合,其次,通过点云金字塔解码器进行叶片点云的多阶段生成补全,最终得到完整的目标叶片形状。使用曲面参数方程构建绿萝叶片仿真模型库,并将其离散成点云作为网络模型训练的训练集和验证集,使用Kinect v2相机获取绿萝叶片点云作为网络模型补全性能评估的测试集。试验结果表明,本文网络结构对叶片点云补全的效果理想,证明本文方法能够对遮挡情况下的绿萝叶片进行高效、完整的补全。     

基于深度信息的草莓三维重建技术

以盆栽和高架两种栽培模式生长环境下的草莓植株为研究对象,提出了一种基于深度信息分割聚类的草莓冠层结构形态三维重建算法。首先,以深度信息的不连续性特征作为草莓植株逐层分割的重要依据,以深度二维图像作为全局参考指标,提出深度信息步进方法,自动提取冠层点云;其次,改进密度聚类算法,有效滤除随机、跳边和背景噪声;最后,改进基于Harris算子的多源图像融合算法,实现彩色图像与强度图像的配准及点云颜色的映射,三维重建出具有颜色信息的草莓冠层结构形态。为验证该算法的有效性,将三维重建后冠层的平均单叶长度及A-B线距离作为评价指标,试验结果表明,模型的平均单叶长度计算正确率为93%左右,A-B线距离计算正确率为97%左右,研究结果可为草莓采摘机器人果实识别过程中枝叶空间结构关系的构建提供技术支持。     

基于MRE-PointNet+AE的绿萝叶片外形参数估测算法

为了准确、高效、自动获取植物叶片外形参数,提出一种基于多分辨率编码点云深度学习网络(MRE-PointNet)和自编码器模型的绿萝叶片外形参数估测算法。使用Kinect V2相机以垂直姿态获取绿萝叶片点云数据,采用直通滤波、分割、点云精简算法对数据进行预处理,通过测定的叶片外形参数反演绿萝叶片几何模型,并计算几何模型的叶长、叶宽、叶面积。将不同参数组合构建的几何模型离散成点云数据输入MRE-PointNet网络,得到几何模型叶片外形参数估测的预训练模型。针对拍摄过程中存在的叶片部分遮挡和噪声问题,采用自编码器网络对点云数据进行二次处理,以几何模型离散的点云数据作为输入,经过编码解码运算得到自编码器的预训练模型,提升了MRE-PointNet网络在遮挡情况下对叶片外形参数估测的鲁棒性。试验共采集300片绿萝叶片点云数据,按照2∶1比例进行划分,以其中200片点云数据作为训练集,对预训练模型MRE-PointNet做模型迁移的参数微调,以剩下的100片点云数据作为测试集,评估模型对绿萝叶片外形参数的估测能力。采用本文算法将外形参数估测值和真实值进行数学统计与线性回归分析,得出叶长、叶宽和叶面积估测的R^2和RMSE分别为0.9005和0.4170 cm、0.9131和0.3164 cm、0.9447和3.8834 cm^2。试验表明,基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测算法具有较高的精确度和实用性。     

基于3D视觉的番茄授粉花朵定位方法

为了给设施番茄授粉机器人授粉提供可靠的定位技术,提出了一种基于3D视觉的番茄花朵定位方法。采用RGB-D结构光相机快速获取温室内番茄植株的彩色图和深度图信息,通过YOLO v4 (You only look once)神经网络对植株上番茄花束进行目标检测,并提取出授粉花束在图像中的二维区域;使用主动对齐方式结合PCL进行彩色图像和深度图像的粗对齐,利用区域内色系单视角线性遍历方法对提取的花束区域进行精配准,获得番茄花束的空间高精度点云信息;再使用统计滤波法剔除点云信息离群点后,结合双向均值法计算花束3D box的授粉质心坐标。定位试验结果表明,该方法在温室环境中能成功对花束进行识别定位,神经网络平均检测精度达97.67%,完成单幅图像花束提取时间为14.95ms,算法获取授粉质心坐标的平均时间约为300ms。后期在温室内验证,在花束被遮挡小于80%时,算法能够对番茄花朵进行精准定位,并成功执行授粉动作,为番茄授粉机器人提供了一种新的授粉点定位方法。     

复杂环境下肉牛三维点云重建与目标提取方法

基于点云采集技术的非接触式测量能够缓解肉牛在采集体尺体重等参数时的应激问题,但采集肉牛的三维数据耗时长且易受环境干扰而产生大量无关噪点,难以适应实际养殖环境需求。为解决该问题,本研究开发了一种非接触式肉牛三维点云重建与目标提取系统与方法,采集的肉牛三维点云可为肉牛育种育肥提供大量标准化和三维量化表型数据。三维点云采集系统由Kinect DK深度相机、红外对射光栅触发器和射频识别（Radio Frequency Identification,RFID）触发器组成,可在肉牛自由通过步行道的瞬间实现肉牛点云的多角度瞬时采集。肉牛点云目标提取方法基于C++语言与点云处理库（Point Cloud Library,PCL）开发,通过空间直通滤波、统计学离群点滤波、随机抽样一致（Random Sample Consensus,RANSAC）形态拟合与点云抽稀、基于降维密度聚类的感知盒滤波等算法有效滤除与肉牛紧贴的栏杆等干扰,不破坏点云的完整性,实现肉牛点云的三维重建与分析。在养殖场中对20头肉牛进行了124次点云采集与目标提取试验。结果表明,重建的肉牛三维模型与肉牛真实形态1:1对应,系统的采集成功率为91.89%,采集的点云与真实值相比,体尺重建误差为0.6%。该系统与方法可以在无人干预的情况下,实现多角度肉牛点云数据的自动采集与三维重建,并从复杂环境中自动提取目标肉牛的点云,为非接触式肉牛体高、体宽、体斜长、胸围、腹围和体重等核心表型参数的测量提供重要的方法支撑,促进肉牛育种和育肥的标准化管理。