基于相位相关的温室番茄植株多模态三维重建方法

为实现温室番茄植株多模态三维重建,解决多光谱反射率配准和多视角点云三维重建问题,基于相位相关原理将多光谱反射率配准至RGB-D图像坐标系中,建立了基于Kinect传感器测量位姿自主标定的多视角RGB-D图像三维重建方法,实现植株RGB三维点云模型和多光谱反射率点云模型重建,通过归一化灰度相似系数、配准区域光谱重叠率、互信息值3个指标客观评价二维多光谱图像配准质量,采用豪斯多夫距离客观评价植株三维点云重建精度。结果表明:30株温室番茄,每株4个重建视角,视角间隔为90°,配准区域光谱重叠率和归一化灰度相似系数的平均值分别为0.920 6和0.908 5,异源图像配准后互信息值比配准前互信息值平均提升了9.81%,植株冠层多光谱图像能够准确配准至深度坐标系,番茄植株三维重建点云距离集小于0.6 cm的比例为78.39%,小于1.0 cm的比例为91.13%,番茄距离集均值的平均值为0.37 cm,表明植株三维点云模型重建精度较高,能够应用于温室番茄植株多模态三维重建。植株多模态三维模型是实现三维形态测量与生理诊断的关键要素,为高通量植株表型测量提供高效精准的测量方法,对植物表型组学等研究领域的发展具有重要的意义。     

基于Kinect V3的单株作物自动化三维重建与验证

为高效、精确地对单株作物进行三维重建,以点云方式无损测量作物表型信息,该研究提出一种基于Kinect V3深度相机的三维重建系统。使用步进电机搭建了一个旋转台,并将旋转台面设计成多颜色同心圆,利用同心圆计算平面法向量及圆心两特征信息,用于点云水平校准以及获取点云间的旋转平移矩阵;将Kinect V3采集的多视角点云变换到同一坐标系下,并结合裁剪迭代最近点（Trimmed Iterative Closest Point,TrICP）算法实现了多视角点云的粗配准与精配准,完成了作物三维重建。为检验该研究的三维重建效果,选取菜心、黄瓜苗为试验对象,与多视图立体视觉-运动恢复结构（Multi-View Stereo and Structure From Motion,MVS-SFM）算法重建点云进行对比,并提取叶面积参数与人工测量值进行比较。结果表明,两种方法下重建后的菜心点云间平均距离误差为0.59 cm,黄瓜苗点云间平均距离误差为0.67 cm,具有较高的相似度,而相较于MVS-SFM算法,该研究提出的方法的重建速度提高了约90%;该研究提出的方法所重建点云,菜心叶面积提取与标准参考值相对误差均值为5.88%,均方根误差为3.83 cm2,黄瓜苗叶面积提取与标准参考值相对误差均值别为6.50%,均方根误差为2.08 cm2,都显现出较高的准确性。该研究提出的方法能对单株作物进行快速三维重建,能有效提取叶面积参数,可为作物育种、栽培和农业生产提供高效技术手段和数据支持。     

基于多视角立体视觉的植株三维重建与精度评估

基于图像序列的植株三维结构重建是植物无损测量的重要方法之一。而对重建模型的精度评估方法大多基于视觉逼真程度和常规测量数据。该研究以精确的激光扫描三维模型为参照,采用豪斯多夫距离,从三维尺度上对基于图像序列的植株三维重建模型进行精度评估。同时,从植株表型参数(叶片长、宽、叶面积)方面,对植株三维重建模型进行精度评估。结果表明,基于图像序列的三维重建模型精度较高,豪斯多夫距离在0~10 mm之间,各试验植株豪斯多夫距离大多小于4.0 mm,各植株表型参数与其对照值的R2均大于0.95,且两者的无显著性差异(P0.05)。此植株三维结构重建方法能够应用于植物表型、基因育种、植物表型与环境互作等研究领域。     

利用照片重建技术生成坡面侵蚀沟三维模型

该文利用运动恢复结构(structure from motion,SFM)、多视图立体视觉(multi-view stereo,MVS)技术,提出了一种坡面侵蚀沟三维模型的快速重建方法。首先对普通相机拍摄的照片采用尺度不变特征变换(scale-invariant feature transform,SIFT)完成特征点的提取与描述,随机采样一致性算法(random sample and consensus,RANSAC)过滤掉最近邻匹配(nearest neighbor,NN)产生的误匹配点;然后通过SFM方法,迭代求解出相机矩阵和三维点坐标,用光束法平差(bundle adjustment,BA)进行非线性优化,确保误差的均匀分布和模型的精确;再使用基于面片的多视图立体视觉算法(patch-based multi-view stereo,PMVS),在局部光度一致性和全局可见性约束下,以SFM生成的稀疏点云为种子面片开始扩散,完成点云稠密重建。将照片快速重建方法获取的点云与地面激光扫描仪(terrestrial laser scanner,TLS)获取的点云及实测数据进行比较,结果表明,照片重建方法生成的点云稠密且能够完整展示侵蚀沟的发育形态,与TLS点云间的平均距离为0.0034 m,照片重建与三维激光扫描方法对侵蚀量的估算相对误差为8.054%,提取的特征线匹配率达89.592%。研究结果为侵蚀沟监测提供了参考依据。     

基于体着色的植物构型三维重建和可视化模拟

对植物进行三维重建通常利用立体视觉原理,由于立体匹配无法自动完成,加大了对植物构型时空变化的研究难度。根据体素颜色赋值法,设计了记录植物空间变化的体素三维重建系统,并利用其重建出植物点云数据,提出了针对植物体素点云数据进行滤波、分类及提取植物构型信息的算法,基于OpenAlea利用植物构型信息,建立植物构型模型并实现可视化模拟。采用阴香（Cinnamomum burmannii）枝条作为样本对该三维重建系统进行验证,结果表明,该系统能够自动重建枝条构型组织茎叶的点云,抽取植物构型信息的算法能快速正确得到枝     

基于点云的果树冠层叶片重建方法

精确的果树三维冠层结构是农业科研人员进行功能结构模型研究的重要载体,该文提出一种快速、精确、自动的果树冠层叶片重建方法。首先根据带叶果树点云的局部和全局特征,建立椭球分层的点云密度收缩方法实现器官点云分离,然后利用邻近传播主成分分析算法实现叶片特征参数的求解,利用Laplacian收缩算法实现冠层骨架点的连通,从而实现冠层叶片的快速自动重建。最后利用C++及Point Cloud Library(PCL)点云库,开发果树叶片点云冠层自动重建系统,对苹果树、柑橘树等不同类型果树进行算法验证,结果表明该方法能够正确识别出的叶片数占冠层总叶片数的90%以上,叶面积指数的正确率大于95%,叶片倾角偏离5?以内的叶片数占总叶片数的90%以上。该方法得到了较好的可视化效果和叶冠三维重建精度,可为后期树体冠层内光合作用的研究、整形修剪、农业仿真试验等提供参考。     

基于光度立体法的翘板黑瓜子识别方法研究

针对目前翘板黑瓜子依赖手工检测效率低下的问题，提出了一种利用光度立体视觉算法进行翘板瓜子识别的方法。首先利用实物表面重建的方法标定了图像采集系统的精度；然后针对黑瓜子表面中间区域与周边区域颜色有巨大差异的特殊形态，分区域三维重建了黑瓜子表面；最后通过试验确定表面面积为识别特征，识别阈值为9，在误识率小于5％的情况下，翘板瓜子识别率达90％。试验结果表明应用光度立体视觉算法可以有效地进行翘板黑瓜子的识别。     

基于多尺度几何感知Transformer的植物点云补全网络

对植物幼苗进行三维重建,常存在叶片间的遮挡、摄像头视野限制等因素导致植物幼苗点云出现缺失的情况,影响了植物表型分析的准确度.为了能获得完整的植物点云,提出了基于多尺度几何感知Transformer(Multi-Scale Geometry-Aware Point Transformer,MGA-PT)的植物点云补全网络...     

基于多视角自动成像系统的作物三维点云重建策略优化

为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和不同相机数获取的图像重建作物三维点云,通过重建效率和精度(Hausdorff距离)评估,以及基于点云提取表型参数(株高、幅宽、凸包体积和总表面积)的可靠性评价,优化作物三维点云重建策略。结果显示,对于结构相对稀松、遮挡较少的盆栽植株(苗期、蕾薹期、盛花期、成熟期油菜)、结构相对紧凑、遮挡较多的植株地上部(花铃期棉花、抽穗期水稻、拔节期和灌浆期小麦)以及器官密集、遮挡严重且有较多细长结构的地上部和根系(分蘖期小麦和成熟期水稻地上部、成熟期玉米和油菜根系),分别采用3～4、6和10个相机为其最优重建策略(Hausdorff距离小于或接近0.20 cm,且重建时长和Hausdorff距离归一化值之和最小)。采用不少于4个相机获取的图像重建作物三维点云,可提取较为可靠的表型参数(决定系数R²>0.90...     

基于点云配准的果树快速三维重建

旨在为果园生产管理提供果树三维可视化基础数据,该文提出了一种基于点云配准的自然光照环境下的果树三维重构方法。首先,利用RGB-D相机采集不同视角下的果树彩色图像和深度图像,并通过信息融合获取相应视角下果树的三维点云数据;第二,对果树原始点云进行去背景和滤波等预处理,利用归一化对齐径向特征NARF(Normal Aligned Radial Feature)算法计算每片点云中的关键点,并在关键点初运用快速点特征直方图FPFH(Fast Point Feature Histograms)描述子得到关键点的特征向量。通过计算比较两片点云的FPFH特征,寻找两片相邻点云之间的空间映射关系,利用随机抽样一致性RANSAC(RANdomSAmple Consensus)算法提纯映射关系并完成相邻两片点云的初始配准;第三,在初始配准的基础上,利用迭代最近点ICP(Iterative Closest Point)算法完成点云的精确配准;最后,利用上述点云初始配准和精确配准方法对果树多片点云进行全局配准并完整重构果树的三维点云图像。针对配准过程中时间消耗过大的问题,该文提出了基于OpenMP技术对配准进行加速的方法。结果表明,该文所提出的果树三维重构方法具有较高的准确性,配准的平均距离误差为0.0068 m;同时,在不影响配准精度和稳定性的前提下大幅提高了果树三维重建的效率。     

基于无人机倾斜航空影像的树冠体积测算方法

树冠是结构复杂的不规则体,对树冠体积的精确测定一直是树木测量研究中的难点问题。该文以消费级多旋翼无人机对目标树木进行倾斜摄影获取的多角度航空影像为基础,通过空三加密处理生成目标树木的三维点云模型;用等高线法分割树冠点云,并确定树冠最优分割层数;用投影法对点云数据进行转化,并选取测算点计算树高和树冠任意横截面积;对分割后各规则体的体积进行累加获得树冠体积。结果表明:8棵目标树木的树高测算值相对误差为1.46%～4.10%,平均相对误差为2.88%;树冠体积测算值的相对误差为6.95%～12.39%,平均相对误差为9.42%;精度均可满足林业调查中对于树高和树冠体积测量结果的要求。利用无人机倾斜航空影像建立单木的三维点云模型并进行树冠体积测算的方法是可行且有效的,该方法可为研究单木树冠几何参数的提取提供参考。     

Alpha-shape算法构建枣树点云三维模型

为了实现枣树智能化修剪作业,该研究提出了基于点云配准的自然光照环境下的果树三维重构方法,并针对传统最近点迭代（Iterative Closest Point,ICP）算法对待配准点云的空间位置要求苛刻的问题,提出了改进的点云配准算法。首先,使用彩色深度（RGB-D）相机采集不同角度下的枣树彩色和深度图像,并通过信息融合实现相应角度下的点云获取。其次,对点云进行背景去除和滤波处理,基于直方图设定分割阈值,提取单株枣树点云,并将放置在树根附近的标靶球作为标记,使用人工标记法进行两站点云初配准。最后,在初配准基础上计算点云的曲面法向量和曲率,由曲率相近的点构成配对点对,使用k维树最近点迭代（k dimensional-tree-Iterative Closest Point,kd-tree-ICP）算法完成精配准,对点云使用Alpha-shape算法面片化,实现表面重构。利用上述方法对多棵枣树进行全局配准并完整重构果树模型。试验结果表明,通过引入初配准,有效提高了点云配准的准确性和稳定性,配准误差均控制在1.0 cm以内,平均配准误差为0.78 cm;重构模型真实感较强,在外观上更加接近真实树,枝干相对误差控制在7%以内。该研究重构模型精度较高,可为枣树智能修剪提供可视化研究基础和技术支持。     

基于改进YOLOv7的果园行间导航线检测

在复杂果园环境中，传统机器视觉算法难以处理光影变化、遮挡、杂草等因素的干扰，导致导航道路分割不准确。针对此问题，该研究提出了一种改进YOLOv7的果园内导航线检测方法。将注意力机制模块(convolutional block attention module，CBAM)引入到原始YOLOv7模型的检测头网络中，增强果树目标特征，削弱背景干扰；在ELAN-H(efficient layer aggregation networks-head，ELAN-H)模块和Repconv(re-parameterization convolution，Repconv)模块之间引入SPD-Conv(space-to-depth，non-strided convolution，SPD-Conv)模块，提高模型对低分辨率图像或小尺寸目标的检测能力。以树干根部中点作为导航定位基点，利用改进YOLOv7模型得到两侧果树行线的定位参照点，然后利用最小二乘法拟合两侧果树行线和导航线。试验结果表明，改进YOLOv7模型检测精度为95.21%，检测速度为42.07帧/s，相比于原始YOLOv7模型分别提升了2.31个百分点和4.85帧/s，能够较为准确地识别出树干，且对树干较密的枣园图像也能达到较好的检测效果；提取到的定位参照点与人工标记树干中点的平均误差为8.85 cm，拟合导航线与人工观测导航线的平均偏差为4.90 cm，处理1帧图像平均耗时为0.044 s，能够满足果园内导航需求。     

基于稀疏图像的真实树交互式建模方法

真实环境中树的三维重建可在虚拟现实、景观设计及农林业应用方面发挥重要作用,为解决真实环境中树的三维重建问题,该文提出一种基于稀疏图像的交互式建模方法。在自然环境下采集2幅相差90°的树图像及对应4～7幅中间图像,采用交互式编辑方法在夹角相差90°的1幅图像上获取各级树枝二维投影位置及粗度信息,再通过中间图像找到各级树枝在另一幅图像上的匹配树枝,并交互式调整树枝位置信息,然后进行透视校正,生成树枝三维几何模型,最后根据叶序规则添加树叶完成重建。通过对苹果树、樱桃树和枫树的重建结果表明,该方法交互性好,对图像拍摄数量与角度要求不高,重建时间在55～125 min之间,且能较好保持树的拓扑结构,可为虚拟植物建模、虚拟修剪试验和植物拓扑结构分析等提供参考。     

基于语义分割和几何分析的火龙果果实与枝条的三维重建

针对非结构化环境中采摘机器人缺少足够环境信息的问题,该研究提出了一种用于机器臂避障和路径规划的果实与枝条检测和三维重建方法。采用MobileNetV2取代传统DeepLabV3+主干特征提取网络Xception,并在特征提取模块引入了坐标注意力机制,通过改进网络对采集的RGB图像进行目标检测,并将检测到的火龙果和枝条语义掩膜转换成三维点云。提出一种基于非线性最小二乘法的椭球体拟合方法用于重建火龙果,用有限数量的AABB包围盒获取不规则的枝条的三维空间位姿信息。测试表明,改进后模型的平均交并比（mean intersection over union,mIoU）和平均像素精度（mean pixel accuracy,mPA）分别达到95.59%、98.01%,相较原模型分别提升2.57个百分点和1.44个百分点;平均推理时间和模型内存占用量分别降至94.74ms和22.52MB,分别仅为原模型的59%和11%。三维重建试验表明,火龙果果实重建的短轴尺寸和深度距离的平均绝对误差分别为0.44和2.04mm,枝条重建的样本标准差在各坐标轴上均小于10mm。结果证实了该研究方法可以有效地重建火龙果果实和枝条,可以为火龙果采摘机器人的采摘路径规划避障提供基础。     

基于RGB-D相机的脐橙实时识别定位与分级方法

为实现脐橙采摘机器人对脐橙果实进行实时识别、定位和分级采摘的需求,该研究提出了一种基于RGB-D相机数据的脐橙果实实时识别、定位及分级的OrangePointSeg算法。首先利用微软最新消费级深度相机（Azure Kinect DK）采集脐橙果实的RGB-D数据,建立脐橙果实实例分割数据集及增强数据集。然后通过改进YOLACT算法对脐橙果实进行实时分割并生成实例掩膜,与配准后的深度图裁剪得到果实深度点云,再利用最小二乘法进行脐橙果实外形拟合,得到其相机坐标系下质心坐标及半径。试验结果表明,在果实识别阶段,改进YOLACT算法在该数据集上的检测速度为44.63帧/s,平均精度为31.15%。在果实定位阶段,1 400～2 000点云数量时的拟合时间为1.99 ms,定位误差为0.49 cm,拟合出的半径均方根误差为0.43 cm,体积均方根误差为52.6 mL,在大于800点云数量和距离1 m以内时,定位误差均控制在0.46 cm以内。最后通过引入并行化计算,OrangePointSeg的总体处理速度为29.4帧/s,能够较好地实现精度与速度的平衡,利于实际应用和工程部署。该研究成果可推广至其他类似形态学特征的果实识别中,为果园的智能化管理提供行之有效的技术支撑。     

图像拼接重建苹果树冠层器官三维形态

为重建苹果树年生长期冠层器官三维形态,以休眠期、疏花期、成熟期苹果树冠层为研究对象,分别针对基于光合混合探测技术(photonic mixer detector,PMD)的摄像机与彩色摄像机获取的强度图像与彩色图像开展冠层图像拼接技术研究。利用Scale invariant feature transform算法的尺度不变特征,并结合Random sample consensus算法精确确定图像映射模型,避免了果园非结构光及图像尺度变换的影响。以此为基础,应用拉普拉斯金字塔分解与重构算法、分层确定融合规则,实现了不同生长期的冠层图像拼接,有效克服了传统融合算法反映细节信息能力差、拼接痕迹明显等缺点。果园不同环境下(晴天顺光、晴天逆光、阴天)的试验表明:提出的拼接方法适合于苹果树年生长期的冠层器官图像拼接,且算法的鲁棒性、速度及拼接精度均能满足冠层三维重建工作的要求,研究成果对提升剪枝、疏花、测产、采摘等果园管理的信息化水平具有重要意义。     

基于无人机影像自动检测冠层果的油茶快速估产方法

快速准确的产量估算对油茶经营管理和可持续发展具有重要意义。该研究针对油茶快速估产的应用现状,提出一种基于无人机影像自动检测冠层果的方法用于油茶快速估产。首先借助无人机航拍影像,通过随机抽样选取120株油茶树进行无人机近景摄影和人工采摘称量;然后利用Mask RCNN(Mask Region Convolutional Neural Networks)网络开展基于近景影像的油茶冠层果自动检测与计数;采用线性回归和K最邻近建立冠层果数与单株果数之间的关系,同时结合研究区典型样木株数和平均单果质量,构建基于冠层果自动检测的估产模型。结果表明:1)无人机超低空近景影像结合Mask RCNN网络能够有效检测不同光照条件油茶果,平均F1值达89.91%;2)同传统卫星遥感相比,基于无人机近景摄影的冠层果自动检测在作物产量估测方面显示出明显优势,Mask RCNN网络预测的冠层果数与油茶样木单株果数之间具有良好的一致性,拟合决定系数R2达0.871;3)结合线性回归和K最邻近构建的模型估产精度均较高,拟合决定系数R~2和标准均方根误差NRMSE(Normalized Root Mean Square Error)分别在0.892～0.913和28.01%～31.00%之间,表明基于无人机影像自动检测冠层果的油茶快速估产是一种切实可行的方法。研究结果可为油茶快速估产和智能监测提供参考。