基于可视化类库的植株三维形态配准方法及点云可视化

精确的植物三维静态形态结构模型有助于植物空间结构相关的各种研究,是虚拟植物、植物建模等问题研究的一个重要方面。研究植物生长过程中的三维信息的获取可以获得作物生长过程中各参数的动态数据,可为精细农业植物生长模型建立等提供依据。该文以植物为研究对象,介绍了虚拟植物及植物三维可视化的研究现状,讨论了植物叶片三维可视化的可行性及必要性。针对植物三维点云的采集与处理上,讨论了三维扫描仪的精度测定方法,并针对基于基准体的植株点云配准问题,提出采用基准体点云平均法向量计算的方法,去除了部分基准体表面的噪声点,提高了植株体的配准精度;采用迭代最近点（iterative closest point,ICP）算法,对植株叶片进行进一步的高精度配准。最后采用基于可视化类库VTK(visualization toolkit)实现了植物点云配准与三维可视化。     

基于三维点云数据的苹果树冠层几何参数获取

针对果园环境下苹果树冠层参数获取精度较低的问题,提出了基于地面三维激光扫描仪高精度获取苹果树冠层参数的方法.选用Trimble TX8地面三维激光扫描仪作为苹果树冠层三维点云数据采集设备,提出了基于标靶球的KD-trees-ICP算法,用于高精度配准苹果树冠层三维点云数据.研究了平均风速小于4.5 m/s时,距离地面三维激光扫描仪不同远近条件下的标靶球配准残差和拟合误差的变化规律,分析结果表明,标靶球平均配准残差为1.3mm,平均拟合误差为0.95 mm,低于大场景测量配准误差要求(5mm).为了提高有风环境下提取苹果树冠层参数的精度,研究了0.9～4.5 m/s区间平均风速影响下的苹果树冠层枝干、果实、叶片的三维点云质量,建立了风速与叶片侧面厚度的曲线拟合模型,分析结果表明,在果园平均风速小于1.6 m/s时可以从苹果树冠层三维点云数据中提取高精度冠层参数.利用地面激光三维扫描仪获取距离苹果树12 000 mm以内冠层参数,测量精度高于人工测量,相对误差小于4％,为果树高通量信息获取提供了技术支持.     

基于三维点云的植物多任务分割网络

在植物表型研究中,植物器官分割是实现无损、高通量、自动化表型测量的重要步骤。然而,现有植物器官分割方法通常需要凭借经验设置合理的阈值参数,且很少同时执行语义分割和实例分割。该研究提出了一个基于三维点云的植物多任务分割网络（a multi-task segmentation network for plant on 3D point cloud,MT-SegNet）,结合多值条件随机场（multi-value conditional random field,MV-CRF）模型,同时实现茎、叶语义分割和叶实例分割。在MT-SegNet中,为解决用最大池化或平均池化方法来聚合邻域点特征可能会导致重要信息丢失的问题,该研究提出了一种基于注意力机制的多头注意力池化模块。它能自动学习到重要的邻域点特征,从而有利于提高网络的分割性能。同时,MT-SegNet分成两个不同的分支,分别用于预测点的语义类别和将这些点嵌入到高维向量,以便将这些点聚类为实例。最后,使用MV-CRF进行多任务的联合优化。在彩叶芋点云数据集上的试验结果表明,该方法的茎、叶语义分割的交并比、准确率、召回率和F1分数的平均值分别为84.54%、93.64%、91.39%、92.48%,叶实例分割的平均准确率、平均召回率、平均实例覆盖率和平均加权实例覆盖率分别为88.10%、78.44%、76.24%、76.93%,均优于PointNet、JSNet等现有的深度学习网络。该模型也适用于类似植物的点云分割类任务。这有助于为植物自动化表型测量提供必要的技术条件。     

基于点云的作物地下变态根可视化模拟

为研究作物地下变态根的可视化模拟,以肉质直根和块根为模拟对象,采用体着色三维重建的方法获取变态根点云,提出并实现了去除变态根点云噪声、离群点和修补孔洞的预处理通道,并对预处理后的点云进行曲面重建,构建曲面模型,进而提取变态根的构型参数,最后对重建后的曲面模型进行可视化模拟。以胡萝卜和马铃薯为试验对象进行了可视化模拟,结果表明,去除变态根点云噪声、离群点和修补孔洞的预处理通道,能有效得到完整、均匀和光顺的点云模型,从曲面模型提取的体积误差小于10%,利用重建得到的曲面模型可平滑逼真的可视化变态根形态。该文研究为植物变态根构型模拟提供了一种新方法。     

基于点云数据的植物叶片曲面重构方法

叶子是植物最重要的器官之一,建立植物叶片的高精度曲面模型对于开展植物叶片形态特征分析和冠层光分布计算等研究具有重要意义。该文提出了一种基于点云数据的植物叶片曲面重构方法,该方法首先对原始点云数据进行噪声点剔除和数据精简,然后采用Delaunay三角剖分方法生成初始网格曲面,再对网格曲面进行优化处理。结果表明该方法能够基于激光扫描三维点云数据快速重构出植物叶片的高精度网格曲面,包括萎蔫和枯萎等复杂形态。该研究可为植物建模与可视化相关研究提供参考。     

基于TOF深度传感的植物三维点云数据获取与去噪方法

为提高植物三维重建的精度,更好地实现植物数字化研究,提出了基于TOF(time of flight)深度传感的植物三维点云数据获取与去噪方法。首先通过TOF深度传感来获取植物点云数据,采用直通滤波器对点云数据进行预处理,减少背景噪声;其次采用改进密度分析的离群点去噪算法,该算法通过结合邻近点平均距离和邻域点数数量2个特征参数,对点云数据中的离群点噪声进行检测和去除;最后采用双边滤波算法对点云内部的小尺寸噪声进行检测和去除。以番茄植株进行相关试验,试验结果表明:与传统双边滤波算法比较,该文算法最大误差降低了11.2%,平均误差降低了23.2%;与拉普拉斯滤波算法比较,最大误差降低了20.6%,平均误差降低了39.2%,表明该文提出的算法在保持点云特征的情况下,能简单高效地去除植物三维点云数据中的不同尺度噪声。     

田间作物群体三维点云柱体空间分割方法

农田作物群体表型信息对于研究作物内部基因改变和培育优良品种具有重要意义.为实现田间作物群体点云数据中单个植株对象的完整提取与分割,以便于更高效地完成作物个体表型参数的自动测量,该研究提出一种田间作物柱体空间聚类分割方法.利用三维激光扫描仪获取田间油菜、玉米和棉花的三维点云数据,基于HSI(Hue-Saturation-...     

基于三维点云的田间香蕉吸芽形态参数获取

针对传统的香蕉吸芽形态参数手工测量方法效率低下、人为主观性强等问题,提出了基于三维点云的田间香蕉吸芽形态参数信息提取方法,并针对吸芽茎秆直径小,普通测量算法误差大的问题,使用曲面平滑和圆柱拟合算法提高了茎粗测量精度和准确性。使用Kinect V2、PMD CamBoard pico flexx、ZED双目视觉相机和Velodyne 16线激光雷达 4种深度传感器采集不同尺寸的香蕉吸芽点云,对比了不同深度传感器对于香蕉吸芽点云采集的效果和提取表型参数的精度。基于点云库开发了香蕉点云处理和表型参数提取算法,对从两侧获取的香蕉点云进行配准,提取了香蕉吸芽的株高、茎粗和叶面积参数。Kinect V2取得了最优的点云重建效果和表型参数获取精度,与人工测量值相比,测得株高、茎粗和叶面积的平均绝对百分比误差分别为4.79%、9.20%、16.59%,均方根误差分别为5.46 cm、4.44 mm、197.8 cm2,决定系数分别为0.96、0.87、0.92。研究表明,Kinect V2和该文的形态参数提取方法适用于香蕉吸芽的形态参数获取,可以为果园管理提供一种快速、准确的香蕉吸芽株高、茎粗和叶面积形态参数测量方案。     

基于多视角自动成像系统的作物三维点云重建策略优化

为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和不同相机数获取的图像重建作物三维点云,通过重建效率和精度(Hausdorff距离)评估,以及基于点云提取表型参数(株高、幅宽、凸包体积和总表面积)的可靠性评价,优化作物三维点云重建策略。结果显示,对于结构相对稀松、遮挡较少的盆栽植株(苗期、蕾薹期、盛花期、成熟期油菜)、结构相对紧凑、遮挡较多的植株地上部(花铃期棉花、抽穗期水稻、拔节期和灌浆期小麦)以及器官密集、遮挡严重且有较多细长结构的地上部和根系(分蘖期小麦和成熟期水稻地上部、成熟期玉米和油菜根系),分别采用3～4、6和10个相机为其最优重建策略(Hausdorff距离小于或接近0.20 cm,且重建时长和Hausdorff距离归一化值之和最小)。采用不少于4个相机获取的图像重建作物三维点云,可提取较为可靠的表型参数(决定系数R²>0.90...     

基于机载激光雷达点云数据的河网提取方法研究

在介绍机载激光雷达数据的具体处理流程、分析机载激光雷达数据特征的基础上,结合高程数据和影像数据总结出了基于点云数据的大范围复杂流域的提取方案,同时设计了提取流程并应用该流程对实验数据进行了河网提取。将采用本研究方案提取的河网结果与全手工处理所得的结果进行对比分析后发现,本研究提出的基于机载激光雷达点云数据的河网提取精度误差为3.8%,符合实际生产要求。基于机载激光雷达技术提取河网不仅信息丰富而且提取精度和效率显著提高,同时它作为一种全新数据采集技术,为数字流域三维可视化提供了新的技术支撑。     

基于Kinect V3深度传感器的田间植株点云配准方法

准确建立植物的三维点云是以点云方式高通量获取植株各部位物理参数的前提。为实现田间复杂环境下的植株三维点云配准,该研究提出了一种基于多标定球的田间植株点云自动配准方法,并分别在室内简单场景及大田复杂场景下从不同角度对多种作物采集的点云数据进行验证。该方法采用随机抽样一致性算法（Random Sample Consensus, RANSAC）结合点云减法的概念从下采样后的点云中实现多标定球的自动提取,弥补了RANSAC一次只能提取单个物体的缺点。然后基于各标定球的球心距离信息实现三维点集的自动匹配。最后使用奇异值分解算法解算旋转平移矩阵,实现点云的自动配准。不同场景下各作物的配准结果表明,各植株的水平90°、180°、270°以及垂直方向上的点云配准到水平0°点云下的平均轴向误差在6～17 mm之间,平均点位误差在13～30 mm之间,与手动配准的商用同类软件LiDAR360的配准结果相当,但配准过程的自动化程度明显提高,效率提高了67%。该文所提出的方法可在田间复杂环境下对低成本深度相机获取的植株点云实现高精度的自动配准,为田间植物表型参数的提取提供了低成本的可行方案。     

基于三维点云的甜菜根表型参数提取与根型判别

为挑选产糖量高且适合机械化收获的甜菜根型,该文基于多视角图像序列,构建了207个基因型甜菜根的三维点云模型。基于三维点云提取了描述甜菜根形态特征的10个表型参数：最大直径、根长、凸包体积、顶投影面积、紧凑度、凸起率、凸起角、根头比、根尾比和根体渐细指数。与人工测定的最大直径和根长值进行校验,决定系数R2均在0.95以上。其中根长、凸包体积及顶投影面积与生产指标呈极显著(P<0.01)相关关系。采用稳定性较高的K-medoids聚类算法将甜菜根型分为4类,结合专家知识获取理想根构型的主要特征为根型中等长度、比例适中。采用线性判别、随机森林、支持向量机、决策树和朴素贝叶斯5种预测模型进行根型判别。结果表明5种根系判别模型预测准确率均在70.0%以上,随机森林判别准确率达到81.4%。研究结果将为培育高品质和适应机械化生产的甜菜品种提供依据。     

植物三维建模ICP点云配准优化

构建精确三维模型无损获取植物表型特征信息,对研究农作物的精准化种植、可视化管理和智能化操控具有实际意义。针对当前植物三维建模过程点云数据量大、配准精度不高的问题,该研究提出基于轻量化处理的迭代最近点算法（Iterative Closest Point,ICP）点云配准优化方法。首先以人机交互算法对获取的植株点云图像进行背景滤除,然后利用高效近邻搜索算法判别点云的离群点进行噪声去噪;通过引入辅助特征坐标参数解决ICP算法配准过程中易陷于局部最优解的问题,获取多组点云的精确配准;最后提出体素化网格法,在保证点云三维形态特征的前提下有效滤除冗余点云数据点。试验结果表明,单株和多植株的精简配准效果良好,表型清晰明显,细节易区分,精简后的植株点云冗余数据减少96.90%～97.35%。精简后的植物点云表型可有效重构植株的形态特征,单植株的株高误差为0.20%～0.45%,冠幅误差为0.17%～0.47%,多植株的株高误差为0.25%～0.60%,冠幅误差为0.42%～0.80%。优化后的ICP算法实现滴水莲点云数据精准融合时间为124.3 s,较暴力算法提升26.75%,冗余点云数据精简96.90%～97.20%,为植物表型的三维建模轻量化处理提供参考。     

基于体着色的植物构型三维重建和可视化模拟

对植物进行三维重建通常利用立体视觉原理,由于立体匹配无法自动完成,加大了对植物构型时空变化的研究难度。根据体素颜色赋值法,设计了记录植物空间变化的体素三维重建系统,并利用其重建出植物点云数据,提出了针对植物体素点云数据进行滤波、分类及提取植物构型信息的算法,基于OpenAlea利用植物构型信息,建立植物构型模型并实现可视化模拟。采用阴香（Cinnamomum burmannii）枝条作为样本对该三维重建系统进行验证,结果表明,该系统能够自动重建枝条构型组织茎叶的点云,抽取植物构型信息的算法能快速正确得到枝     

基于点云数据的切沟泥沙负载量不确定性研究

通过对不同期数字高程模型(DEM,digital elevation model)的相减计算,可以获得侵蚀和淤积的空间分布及泥沙负载估算值,为了度量泥沙负载量估算的不确定性,提高野外切沟泥沙负载量的估算精度,该文提出了一种修正泥沙负载量估算值的方法,通过对大样本点云数据的统计抽样,得到了对应DEM差值结果不同坡度位置的误差δz,使得DEM误差具有一定的空间可变性,根据δz和DEM差值结果,通过t检验,建立了侵蚀和沉积发生的先验概率;再以侵蚀和沉积发生的空间相关性为基础,建立了一个由权重因子构成的概率修正滤波器,用来计算侵蚀和沉积发生的条件概率,最后,通过Bayesian推理方法,计算侵蚀和沉积发生的后验概率,用来更新和修正泥沙负载量估算值。经在甘肃天水桥子沟切沟应用,使用该文方法计算得到的侵蚀/沉积变化量相比未经处理的DEM差值结果和用Brasington和Lane方法修正的DEM差值结果估算的净负载量,在95%的置信水平下分别下降了13.13%和7.53%,经与天水水保站实际径流泥沙观测资料对照,与实际观测净负载量相差2%;该文同时还探讨了切沟坡度、点云点密度、地表粗糙度与侵蚀/沉积不确定性的关系,研究结果为提高黄土沟壑区侵蚀沟侵蚀量的估算精度提供了参考依据。     

基于多尺度几何感知Transformer的植物点云补全网络

对植物幼苗进行三维重建,常存在叶片间的遮挡、摄像头视野限制等因素导致植物幼苗点云出现缺失的情况,影响了植物表型分析的准确度。为了能获得完整的植物点云,提出了基于多尺度几何感知Transformer（Multi-Scale Geometry-Aware Point Transformer,MGA-PT）的植物点云补全网络。该网络首先通过降采样特征提取模块对原始点云进行邻域特征提取;然后利用Transformer提取语义信息,引入多尺度几何感知模块提取不同尺度下的几何信息,加强对植株不同器官的特征提取能力;最后使用双路稠密点云生成模块分别对输入部分和预测部分进行细粒度生成,避免输入点云特征的丢失,保证稠密点云贴近实际分布。试验使用基于运动恢复结构的方法对植物幼苗进行三维重建,通过旋转与固定视点缺失构建数据集。试验结果表明,该补全网络表现出色,比目前主流的补全网络更优,对植株数据集补全结果的倒角距离为0.79×10-4 cm,地面移动距离为0.11 cm,F1分数为70.77%,且对不同形态、不同比例的缺失均能补全,体现网络具有稳定性与健壮性。该网络对叶类植物补全效果好,为植物幼苗点云补全提供了新思路。