基于改进纯追踪模型的温室采摘运输自动跟随系统

基于Kinect体感感应技术,设计了一套温室果蔬采摘运输自动跟随平台。通过体感感应系统获取图片上像素点的深度信息,结合图像处理算法,逐行扫描确定人体图像并实时获取人体骨骼信息,计算了人体当前的三维坐标并记录人体走过的路径轨迹。系统采用自调整函数对路径进行优化,避免了剧烈转向行为,并对优化后的路径以模糊算法动态确定纯追踪模型的前视距离,从而实时调整转向和转角,实现了精准跟随和稳定跟随。试验结果表明,该跟随系统能在避免剧烈转向的前提下以较高的精度跟随,横向最大跟踪偏差不超过10.0 cm,最大深度偏差为5.5 cm,且系统性能不受光照条件影响,满足温室采摘运输要求。     

基于改进SIFT-ICP算法的Kinect植株点云配准方法

针对传统配准方法准确度低、速度慢的问题,提出了基于改进SIFT-ICP算法的彩色植株点云配准方法。首先采用Kinect获取不同视角下植株彩色图像和深度图像合成原始植株彩色点云,通过预处理提取原始点云植株信息,对植株点云进行尺度不变特征变换(SIFT)的特征点检测,得到点云配准关键点,再对关键点进行自适应法线估计,然后求取关键点的快速点特征直方图(FPFH),通过采样一致性(SAC-IA)初始配准方法改进点云间初始位置关系,最后利用Nanoflann加速最近点迭代(ICP)算法完成精确配准。试验结果表明,改进SIFT-ICP算法可以大幅度提高点云配准的准确性和快速性,其中对应点间平均欧氏距离小于7 mm,配准时间小于30 s。     

基于Kinect动态手势识别的机械臂实时位姿控制系统

基于Kinect动态手势识别达到实时控制机械臂末端位姿的效果。位置控制信息的获取采用Kinect计算手部4个关节点在控制中的位置变动,数据噪声在控制中易引起机械臂误动作和运动振动等问题,为了避免噪声对实时控制的不利影响,采用卡尔曼滤波跟踪降噪。姿势控制信息通过采集手部点云经滤波处理后应用最小二乘拟合的方式获取掌心所在平面,运用迭代器降噪处理。系统通过对手部位置和姿势信息的整合、手势到机械臂空间坐标映射及运动学求解来实时控制机械臂末端位姿。实验结果证明,手势控制系统满足控制要求,简单、易于操作,机械臂实时响应速度快、运动准确。     

基于Kinect V3的单株作物自动化三维重建与验证

为高效、精确地对单株作物进行三维重建,以点云方式无损测量作物表型信息,该研究提出一种基于Kinect V3深度相机的三维重建系统。使用步进电机搭建了一个旋转台,并将旋转台面设计成多颜色同心圆,利用同心圆计算平面法向量及圆心两特征信息,用于点云水平校准以及获取点云间的旋转平移矩阵;将Kinect V3采集的多视角点云变换到同一坐标系下,并结合裁剪迭代最近点（Trimmed Iterative Closest Point,TrICP）算法实现了多视角点云的粗配准与精配准,完成了作物三维重建。为检验该研究的三维重建效果,选取菜心、黄瓜苗为试验对象,与多视图立体视觉-运动恢复结构（Multi-View Stereo and Structure From Motion,MVS-SFM）算法重建点云进行对比,并提取叶面积参数与人工测量值进行比较。结果表明,两种方法下重建后的菜心点云间平均距离误差为0.59 cm,黄瓜苗点云间平均距离误差为0.67 cm,具有较高的相似度,而相较于MVS-SFM算法,该研究提出的方法的重建速度提高了约90%;该研究提出的方法所重建点云,菜心叶面积提取与标准参考值相对误差均值为5.88%,均方根误差为3.83 cm2,黄瓜苗叶面积提取与标准参考值相对误差均值别为6.50%,均方根误差为2.08 cm2,都显现出较高的准确性。该研究提出的方法能对单株作物进行快速三维重建,能有效提取叶面积参数,可为作物育种、栽培和农业生产提供高效技术手段和数据支持。     

基于Kinect V3深度传感器的田间植株点云配准方法

准确建立植物的三维点云是以点云方式高通量获取植株各部位物理参数的前提。为实现田间复杂环境下的植株三维点云配准,该研究提出了一种基于多标定球的田间植株点云自动配准方法,并分别在室内简单场景及大田复杂场景下从不同角度对多种作物采集的点云数据进行验证。该方法采用随机抽样一致性算法（Random Sample Consensus, RANSAC）结合点云减法的概念从下采样后的点云中实现多标定球的自动提取,弥补了RANSAC一次只能提取单个物体的缺点。然后基于各标定球的球心距离信息实现三维点集的自动匹配。最后使用奇异值分解算法解算旋转平移矩阵,实现点云的自动配准。不同场景下各作物的配准结果表明,各植株的水平90°、180°、270°以及垂直方向上的点云配准到水平0°点云下的平均轴向误差在6～17 mm之间,平均点位误差在13～30 mm之间,与手动配准的商用同类软件LiDAR360的配准结果相当,但配准过程的自动化程度明显提高,效率提高了67%。该文所提出的方法可在田间复杂环境下对低成本深度相机获取的植株点云实现高精度的自动配准,为田间植物表型参数的提取提供了低成本的可行方案。     

多视角深度相机的猪体三维点云重构及体尺测量

对活体牲畜三维重构,数据采集方式、快速配准融合方法、表型体尺测量方法缺乏成熟有效的方案,导致目前活体牲畜的自动体尺测量技术难以在养殖场中推广应用。该文以猪为研究对象运用消费级深度相机KinectV2从正上方和左右两侧3个不同角度同步获取在采集通道中自由行走猪的局部点云。局部点云采用邻域曲率变化法去噪,并运用基于轮廓连贯性点云配准融合,最后采用多体尺数据精确估算技术测定包括体长、体高、胸宽、腹围等数据。该文分别对比实验室中模型猪由传输带以5种不同速率经过通道和养殖场内25头猪逐一经过通道,2种情况下采集数据进行各项体尺测算结果。其结果显示模型猪在传输带上以0、0.3、0.6、0.9和1.2 m/s等5种不同速率下测量体长、体高、胸宽、腹围值与实测值的平均相对误差分别为1.77%、1.36%、2.74%和2.17%。养殖环境下对25头猪同样4种体尺值与实测值的平均相对误差分别为2.56%,2.32%,3.89%和4.51%。试验结果发现养殖场活体猪测量最小误差可以达到实验室环境下的效果,但是最大相对误差变化较大,其原因在于养殖场中猪自由行走采集数据时行为姿态发生很大变化。     

Kinect传感器的植株冠层三维数据测量

植株三维信息重构能为植株生长状态监测和精确喷雾施药提供有效数据。提出一种基于Kinect传感器技术的植株冠层三维数据测量的方法。由Kinect传感器进行植株彩色和深度图像数据的采集,提取和处理所采集的植株冠层目标有效三维信息,完成对植株深度数值和水平投影面积的计算。以规则形状物体与不规则植株为实验对象,对三维数据测量方法进行准确性实验测试,并将实验结果与人工测量结果进行比对。实验结果显示,该方法的深度和面积测量的准确性较高,深度测量误差小于1.0%,面积测量误差小于3.6%。选取温室吊兰作为场地实验对象,采用由测量机构和控制处理机构组成的冠层三维检测系统对吊兰冠层进行三维数据测量,并实时输出深度以及水平投影面积信息,其深度测量的相对误差为1.77%。研究表明,该方法具有较高的可行性,适用于温室植株冠层三维数据测量。     

基于Kinect v2传感器的果树枝干三维重建方法

针对果树三维重构中存在建模精度低、成本高、拓扑结构差等问题,提出一种基于Kinect v2传感器的果树表型三维重建与骨架提取方法。首先,使用Kinect v2传感器采集不同视角下的果树点云数据;其次,对植株点云进行尺度不变特征变换的特征点检测,对关键点使用快速点特征直方图算法进行特征向量计算,通过随机抽样一致性方法提纯点云的初始位置,经初始变换后使用改进的迭代最近点算法进行精配准、拼接形成完整点云;最后,使用Delaunay三角剖分解构点云数据对缺失点云进行填充,使用Dijkstra最短路径算法对最小生成树进行求取,通过迭代去除冗余分量对骨架进行简化,使用圆柱拟合算法估算枝干骨架,将枝干骨架变为封闭凸包多面体,实现果树的枝干三维重建。实验结果表明：采用本文所提建模方法点云平均配准误差为0.52cm,枝干平均重构误差不超过3.52%,重建效果良好。研究成果可为果园评估作物状态、智能化修剪等研究提供数据支持。     

一种基于信息融合苹果果实世界定位方法

构建由Kinect设备、差分GPS设备和陀螺仪组成的信息获取系统,推导RGB图像中苹果果实世界坐标的计算方法。利用Kinect设备获取果园果树RGB图像和深度图像,差分GPS全球定位系统和陀螺仪分别获取Kinect相机位置信息和姿态信息。融合RGB图像和深度图像,利用相对位置定位模型,计算苹果圆心相机空间坐标,融合相机位置信息和姿态信息,利用空间三维坐标转换原理,建立绝对位置定位模型计算苹果世界坐标,对每个果实进行世界空间位置唯一标定。结果表明,果实相对平均定位误差0.035 m,果实绝对定位经度误差0.117 m,纬度误差0.437 m,海拔误差0.145 m。     

基于三维重建的奶牛体重预估方法

为提高奶牛称量的工作效率，降低劳动强度，提出一种基于三维重建的奶牛体重预估方法。首先搭建奶牛深度视频获取平台，利用Kinect相机分别采集奶牛俯视与侧视视角数据，选取深度视频中同步的俯视帧与侧视帧并转换为点云，去除复杂背景提取奶牛点云；然后利用一帧不同步的侧视点云将同步侧视点云中缺失区域补全，配准俯视与侧视点云后，基于俯视点云中奶牛脊柱的位置选取对称面，利用单视角侧视点云获取得到双视角点云，完成奶牛体表点云的重建；最后进行点云曲面重建，利用曲面模型的体积与表面积建立奶牛体重预估模型。利用29头奶牛数据验证模型效果，结果表明，奶牛曲面模型整体表面积、去除四肢及头部的体积与体重呈显著正相关，体重预估绝对误差在-18.67~23.34kg之间，相对误差均小于3.40%，平均相对误差为2.04%。