基于轮廓投影的盆栽水稻三维重建方法研究

近几年，基于图像的高通量水稻表型研究取得了极大进展，但从三维层面进行研究的工作则相对较少。一般而言，相对于二维图像，从三维模型中能提取更为全面的性状参数。三维模型重建是作物三维表型研究的基础，提出一种适用于盆栽水稻三维点云的重建方法。该方法在相机固定、样本旋转的拍摄模式下获取水稻多视角图像，根据相机标定参数以及水稻轮廓二值图，通过轮廓投影方法重建水稻三维可视外壳点云模型，并通过反投影方法进行点云着色。结果表明，该方法对于不同时期及不同品种的水稻样本均能取得较好重建效果。     

基于多视角图像的玉米三维重建及双面配准方法研究

提高植物三维点云模型重建时的准确性与完整性，是精准获取植物表型参数的关键所在。目前大多数三维重建方法只能从某一方向对目标物体进行重建，缺乏完整的三维重建过程。为了解决此问题，本研究提出了一种基于多视角图像序列的玉米双面配准的三维重建方法，通过安装在图像采集平台上下侧的RGB相机来获取玉米不同视角的图像序列，基于SfM算法获取玉米的三维点云模型后使用点云颜色滤波算法进行预处理。通过交互式选点测量方法得到玉米点云的空间坐标后基于欧式距离算法计算20组玉米的株高、叶长、叶宽等表型参数，与对应的手动测量结果相比，决定系数r²依次为0.973 6、0.969 1、0.915 0,结果表明两者间显著相关。之后对标记物使用4PCS和PCA算法进行粗配准，结果表明采用4PCS具有更好的粗配准效果。最后采用ICP算法进行标记物的精配准，得到变换矩阵后将其应用于玉米点云，即完成了玉米点云的双面配准。由玉米点云的配准精度均方根值(RMS)可知，当点云重叠度设置为90%时，RMS值较小，玉米点云配准的精度更高，可达到较好的配准效果。总之，本研究所提的配准方法可以拼接和重建出结构更加完整的...     

植株自旋转多视角重建技术在小麦植株三维表型获取中的应用评估

基于多视角重建技术的作物三维表型高通量获取系统成本低、获取效率高，引起越来越多的关注。植物自旋转式拍摄平台易于搭建，但植物旋转过程中产生的抖动对点云三维重建和表型解析精度有一定影响。为评估旋转式多视角成像在小麦植株三维表型解析中的适用性，基于植物旋转设计了便携式小麦植株三维表型高通量采集系统，选取穗期不同品种的小麦植株作为实验样本进行点云重建，基于Hausdorff距离评价了重建点云的精度误差；并基于人工测量数据，对所提取的表型指标精度进行评价。结果表明，植物旋转式重建的点云与相机旋转式重建的点云有较高的一致性，点云精度差距基本控制在0.4 cm以下；获取的叶长、叶宽和株高的均根方误差分别为0.79、0.13和0.53 cm，平均绝对百分比误差分别为3.26%、7.63%和0.74%，表明该方式适合穗期的小麦植株表型重建，具有较高的点云重建和表型提取精度，并为小麦植株表型评价提供了一种低成本的解决方案。     

基于视觉三维重建的作物表型分析

采用基于图像序列的三维重建技术对作物小麦进行三维重建,通过对比不同处理下的三维点云,选择合适的处理方式对同一品种的不同植株进行三维重建;最后通过获取的作物三维模型对其进行表型测量。结果表明,重建出的三维模型在一定程度上可以还原作物的真实结构,说明利用计算机视觉技术对作物进行表型测量是切实可行的,利用三维模型测量作物的表型对于育种是省时有效的。     

基于激光雷达和Kinect相机点云融合的单木三维重建

为了更好地建立单木三维彩色模型，获得准确表型参数，提出了一种基于Kinect v2相机和激光雷达的单木点云信息融合检测方法。首先由激光雷达采集樱树单木所在区域的完整环境点云，生成点云地图；由Kinect相机采集樱树单木多视角点云得到完整的三维彩色点云；然后以激光雷达点云位置为基准，通过选取对应同名点的方式对2种点云进行初始配准，使点云之间具有良好的初始位置关系，再使用最近点迭代（iterative closest point, ICP）算法对点云进行精配准；最后使用彩色点云对雷达点云进行点云着色融合处理，实现樱树单木的三维重建。结果显示：与只使用Kinect v2相机生成的樱树单木表型参数对比，融合后的樱树单木的株高、冠幅和胸径的平均相对误差分别降低了1.52、6.46和18.17个百分点。研究结果表明，Kinect v2深度彩色相机和激光雷达在单木三维重建上能实现优势互补，提升点云配准精度，同时，既能降低光照气候条件的影响，又能增加测量距离，单木表型参数更准确。     

基于水稻三维模型的表型参数提取及生物量估测

基于二维图像的水稻表型检测方法缺乏空间维度信息，难以提取全面的水稻表型参数，因此建立水稻三维模型进而提取全面的水稻表型参数具有重要意义。体积是指示水稻生长状况的重要参数，如何在不破坏水稻植株的前提下获取水稻体积参数是当下研究中仍有待解决的问题。基于上述考虑，提出一种基于水稻三维模型的表型参数提取及生物量估测方法，实现在不破坏水稻植株的前提下提取水稻体积参数并估测水稻生物量。以盆栽水稻为对象，首先利用Alpha-shape算法重建其三维模型，然后提取并评估水稻株高、茎粗、植被覆盖度、体积参数，并基于体积参数估测水稻生物量。结果表明，空间雕刻方法可以重建高精度的水稻三维模型，并准确测算水稻表型参数及生物量，其中水稻株高、茎粗、单株植被覆盖度均方根误差（RMSE）和平均绝对百分比误差（MAPE）分别为63.27 mm、4.01 mm、5.04%和7.15%、14.91%、12.59%，水稻生物量RMSE和MAPE分别为62.44 g、19.25%，均优于现有三维重建软件的测算结果。     

不规则形体表面点三维重建方法

为实现形体的快速三维重建,在分析现有各类重建算法的基础上,针对不规则形体给出了一种三维表面点的重建方法。首先进行摄像机自定标,求取相机的内、外参数,然后对采集的图像进行处理,得到物体的轮廓,最后使用地毯式的搜索算法搜索并重建了物体的表面点。分析了不同搜索步长情况下算法的执行效率,在综合考虑逼真度和执行速度的情况下,给出了优化的步长选择,为表面的三角网格化和纹理恢复提供了依据。     

基于计算机视觉的水稻三维重建方法

利用多幅多角度的拍摄方法对二维图像进行采集,通过数字化处理得到单株水稻各视角侧面投影及轮廓图像。然后使用基于计算机视觉的三维重建方法,构造单株水稻的可视立体包络,从而得到单株水稻的三维立体像素模型。使用移动立方体算法对单株水稻立体像素模型进行外围表面重建,最后得到单株水稻三维重建模型。     

基于智能手机与机器视觉技术的立木胸径测量方法

针对现有森林资源调查中立木胸径测量工作劳动强度大、效率低,先进设备操作复杂、成本高等问题,结合相机标定、三维重建、机器视觉和近景摄影测量等技术,探索基于智能手机与机器视觉技术的立木胸径测量方法。通过智能手机获取待测立木的图像信息,运用Lab颜色空间模型(Lab color model)和3×3算子对图像进行卷积运算,得到立木图像的视觉显著图; 结合HSV颜色模型(色调H,饱和度S,明度V)中的H分量增强图像中立木树干部分的颜色对比度,通过图像分割算法识别并获取自然环境下的目标立木轮廓区域; 通过一种改进的带有非线性畸变项的相机标定模型标定智能手机的相机内、外参数,并借助相机参数和二维图像信息进行三维世界坐标重建,从而实现树干1.3 m处胸径的测量。经验证,一定距离内胸径测量结果的相对误差小于2.50%。该方法测量精度较高,符合森林资源调查对胸径测量的精度要求,可应用于森林资源调查。     

改进区域增长算法的植株多视图几何重建

【目的】通过研究3种不同复杂程度植株冠层的三维重建,为更加精准获取植株冠层表型参数提供新方法。【方法】本文首先用单反相机获取3种不同复杂程度植株冠层图片序列,通过三维重建得到各植株稠密点云;随后还原植株点云原始尺度,过滤稠密点云中的噪声,再使用改进区域增长算法分割植株点云冠层;之后借助激光扫描仪,利用手动测量和激光扫描方法分别从二维和三维两个方面对多视图几何重建的叶片进行精度评价,二维精度评价为叶片长宽的实际测量值分别与激光扫描仪获取的叶片的长宽值和多视图几何重建叶片的长宽值进行统计分析,三维精度评价使用传统的网格对比方法豪斯多夫距离与更加精准的工业级网格3D精度对比检测软件Geomagic Qualify。【结果】多视图几何重建的植株叶片表型信息与手动测量值间的判定系数（R ²）均高于0.96,激光扫描方法获取的植株叶片表型信息与手动测量值间的判定系数（R ²）均高0.99;多视图几何重建的叶片与激光扫描得到的叶片在0—±1mm偏差范围内的比例大部分达到97%以上;以激光扫描的叶片网格为参考,多视图几何重建的叶片网格的豪斯多夫距离90%以上分布在0—2 mm。本研究的多视图几何重建方法与改进区域增长算法相结合能对不同复杂程度的植株取得比较理想的重建结果。 【结论】本文提出的多视图几何方法与改进区域增长算法相结合的重建方法可以弥补区域增长算法的不足,对表面不平滑的植株冠层具有更好的分割效果,适合不同复杂程度植株三维重建,为育种研究获取植株表型提供一定的参考。     

水稻冠层的田间原位三维数字化及虚拟层切法研究

 【目的】旨在对水稻冠层空间结构精确定量化的方法进行探索。【方法】应用三维数字化技术在田间原位对灌浆期的水稻冠层结构进行测定,探讨该方法的可行性,并建立虚拟层切法以分析水稻的结构特征。【结果】使用三维数字化仪能够在田间原位精确的测定水稻各器官的空间位置和几何形态,从而获取田间水稻冠层的三维结构数据;应用虚拟层切法能够精确、多角度地分析冠层元素在三维空间的分布状况,但层切步长对计算结果有较明显的影响,需要根据具体对象进行合理的选择。【结论】三维数字化和虚拟层切法结合能够实现对水稻冠层结构的精确分析。     

基于EXG因子的水稻秧苗图像分割

针对水稻稻田图像中秧苗和背景分割问题,采用基于最大类间方差法(OTSU法)的分割方法,成功地把水稻秧苗像素和背景像素分割开.首先用CCD相机获取水稻插秧机插秧作业后的水稻稻田图像,选择超绿特征因子(EXG因子)将水稻秧苗RGB彩色图像转化为灰度图像,使用OTSU法计算阈值,成功地将灰度图像转变为二值图像.又采用该方法分割了20幅水稻秧苗图像,结果表明,EXG因子可以对水稻秧苗图像有效分割.     

基于三维点云的玉米果穗几何建模

果穗是玉米产量的构成器官,为构建高精度玉米果穗几何模型,提出了一种基于三维点云数据的玉米果穗几何建模方法。针对玉米果穗形态结构特征,选取Artec Spider三维扫描仪搭建玉米果穗点云数据快速获取系统并获取果穗点云,然后通过点云配准、重采样和孔洞修补操作得到高质量果穗三维点云,最后基于Voronoi图的网格重建方法重构果穗网格模型。结果表明,所重建的玉米果穗具有较高的真实感,且与基于计算机视觉算法相比精度大幅提高。基于三维点云的玉米果穗几何建模对于玉米果穗的种质资源保存、基于三维数据的果穗考种、玉米器官三维模板资源库构建等工作具有重要的推动作用。     

基于离散因子的多传感器数据融合和导航线提取方法

目的 针对玉米田间路径边界模糊和形状不规则特点,普通的田间导航线提取算法在农业机器人实际应用中会出现偏差过大的问题,本文针对3~5叶期玉米田提出了基于离散因子的相机与三维激光雷达融合的导航线提取算法。方法 首先利用三维激光雷达获取玉米植株点云数据,同时将相机采集的图像利用超绿化算法和最大类间方差法自动获得绿色特征二值图像,然后将聚类分析后的点云数据投影到图像中的目标边框上,构建多传感器数据融合支持度模型进行特征识别,最后拟合所获取特征中心点即为导航基准线。结果 该算法能够很好地适应复杂环境,具有很强的抗干扰能力,单帧平均处理时间仅为95.62 ms,正确率高达95.33%。结论 该算法解决了传统算法寻找特征质心偏移、识别结果不可靠等问题,为机器人在玉米田间行走提供了可靠的、实时的导航路径。     

Real-time detection of rice phenology through convolutional neural network using handheld camera images

Smallholder farmers play an important role in the global food supply. As smartphones become increasingly pervasive, they enable smallholder farmers to collect images at very low cost. In this study, an efficient deep convolutional neural network (DCNN) architecture was proposed to detect development stages (DVS) of paddy rice using photographs taken by a handheld camera. The DCNN model was trained with different strategies and compared against the traditional time series Green chromatic coordinate (time-series Gcc) method and the manually extracted feature-combining support vector machine (MF-SVM) method. Furthermore, images taken at different view angles, model training strategies, and interpretations of predictions of the DCNN models were investigated. Optimal results were obtained by the DCNN model trained with the proposed two-step fine-tuning strategy, with a high overall accuracy of 0.913 and low mean absolute error of 0.090. The results indicated that images taken at large view angles contained more valuable information and the performance of the model can be further improved by using images taken at multiple angles. The two-step fine-tuning strategy greatly improved the model robustness against the randomness of view angle. The interpretation results demonstrated that it is possible to extract phenology-related features from images. This study provides a phenology detection approach to utilize handheld camera images in real time and some important insights into the use of deep learning in real world scenarios.

     

水稻外源DNA导入的遗传变异研究

本研究采用“大量注射直接导入法”(经检索国内外文献,在水稻上此法系初次使用)将农垦58S的外源DNA导入籼稻品种晚40中,考察其后代结果:D_1代部份单株性状发生变异,D_2代出现籼粳亚种间性状的重组类型,D_3代重组性状基本趋于稳定。证明直接在籼稻中导入粳稻外源DNA,可实现部分DNA片段与受体植株染色体重组。从而获得育种所需要的籼粳亚种间中间类型材料。此法在育种实践中具有较高的实用价值。     

Registration of multispectral 3D points for plant inspection

Machine vision technologies have shown advantages for efficient and accurate plant inspection in precision agriculture. Regarding the balance between accuracy of inspection and compactness for infield applications, multispectral imaging systems would be more suitable than RGB colour cameras or hyperspectral imaging systems. Multispectral image registration (MIR) is a key issue for multispectral imaging systems, however, this task is challenging. First of all, in many cases, two images needing registration do not have a one-to-one linear mapping in 2D space and therefore they cannot be aligned in 2D images. Furthermore, the general MIR algorithms are limited to images with uniform intensity and are incapable of registering images with rich features. This study developed a machine vision system (MVS) and a MIR method which replaces 2D-2D image registration by 3D-3D point cloud registration. The system can register 3D point clouds of ultraviolet (UV), blue, green, red and near-infrared (NIR) spectra in 3D space. It was found that the point clouds of general plants created by images of different spectral bands have a complementary property, and therefore a combined point cloud, called multispectral 3D point cloud, is denser than any cloud created by a single spectral band. Intensity information of each spectral band is available in a multispectral 3D point cloud and therefore image fusion and 3D morphological analysis can be conducted in the cloud. The MVS could be used as a sensor of a robotic system to fulfil on-the-go infield plant inspection tasks.