基于Kinect v2传感器的果树枝干三维重建方法

针对果树三维重构中存在建模精度低、成本高、拓扑结构差等问题,提出一种基于Kinect v2传感器的果树表型三维重建与骨架提取方法。首先,使用Kinect v2传感器采集不同视角下的果树点云数据;其次,对植株点云进行尺度不变特征变换的特征点检测,对关键点使用快速点特征直方图算法进行特征向量计算,通过随机抽样一致性方法提纯点云的初始位置,经初始变换后使用改进的迭代最近点算法进行精配准、拼接形成完整点云;最后,使用Delaunay三角剖分解构点云数据对缺失点云进行填充,使用Dijkstra最短路径算法对最小生成树进行求取,通过迭代去除冗余分量对骨架进行简化,使用圆柱拟合算法估算枝干骨架,将枝干骨架变为封闭凸包多面体,实现果树的枝干三维重建。实验结果表明：采用本文所提建模方法点云平均配准误差为0.52cm,枝干平均重构误差不超过3.52%,重建效果良好。研究成果可为果园评估作物状态、智能化修剪等研究提供数据支持。     

基于RGB-D相机的油菜分枝三维重构与角果识别定位

为实现高效低成本的油菜植株三维建模和表型参数在线测量,提出一种基于RGB-D相机的油菜分枝三维重建和角果识别定位方法。使用Kinect传感器拍摄角果期油菜分枝在4个视角下的彩色图像和深度图像,进而获取油菜植株的三维点云并滤波。对配准的点云进行旋转变换,计算点云的曲面法矢量和曲率,并由曲率相近的点构成配对点对,再使用基于KD-tree搜索的最近点迭代(ICP)算法实现点云的初配准。将初配准误差作为参考值,调整ICP算法的对应点距离阈值,使用初配准的操作流程对初配准得到的新点云进行再次配准,完成精配准。结合该三维重建方法和针对性的彩色图像处理方法,得到去除主茎的单分枝油菜角果的完整点云,再进行欧氏聚类实现单个角果的空间定位。实验结果表明,提出的三维重建方法具有较强的实时性和鲁棒性,单个角果的三维形态清晰可见,点云平均距离误差小于0. 48 mm,角果总体识别正确率不小于96. 76%。     

光照强度对Kinect v2深度数据测量精度的影响

Kinect v2深度测量受光照环境的影响较大,为定量分析光照因素对Kinect v2测量精度的影响,构建Kinect v2深度测量试验系统,进行了不同距离和不同光照强度下深度测量的正交试验,得出了深度数据中噪声分布的具体区域,建立了光照强度影响下深度数据修正模型,对深度测量误差进行了补偿。试验结果表明,深度数据中的噪声干扰主要存在于边缘和4个边角部分,且随着测量距离的增加和光照强度的增大向中心部分逐渐扩散,但是光照强度的影响更为显著,当光照强度超过6 500 lx时,深度数据的有效率不超过60%。利用光照强度补偿模型对深度测量数据进行修正后,深度数据测量平均相对误差缩小率为44.55%。在花生冠层信息获取中进行了应用,验证了本文数据修正模型的有效性。     

基于Kinect相机的油麦菜自动化三维点云重建

为了解决传统三维点云重建过程中人工调参费时、费力,且精度得不到保障等问题,提出了一种三维点云自动化配准算法,并应用于油麦菜三维重建.使用Kinect相机采集油麦菜不同视角下的点云数据,通过配准实验分析配准参数的变化规律,继而建立了配准评价体系,实现了两片点云的自动化配准,并通过最小化匹配误差积累将多幅点云变换到同一基准...     

基于Kinect相机的苹果树三维点云配准

为建立具有真实彩色信息的果树三维点云形态结构模型,用Kinect相机获取不同视角下果树的原始三维点云,针对传统最近点迭代算法对待配准点云的空间位置要求苛刻的问题,提出了改进的点云配准算法。首先通过归一化对齐径向特征算法搜寻点云关键点,并使用快速点特征直方图描述子计算关键点处的特征向量。然后根据求得的特征向量估计2片点云关键点之间的空间映射关系,再基于随机抽样一致性算法提纯映射关系并完成点云的初始配准。最后利用最近点迭代算法完成点云的精确配准。实验结果表明,通过在最近点迭代算法前增加点云初始配准算法,有效地提高了点云配准的准确性和稳定性,能够对任意初始位置的2片点云进行准确匹配,平均配准误差为0.7 cm。     

Kinect获取植物三维点云数据的去噪方法

为解决Kinect获取的玉米三维点云数据噪声影响三维重建精度的问题,根据Kinect所获取的点云数据特点,采用多帧数据融合的方法获取更完整的三维点云数据并对点云数据进行初步平滑;通过对Kinect所获数据噪声进行分析,提出了一种基于密度分析和深度数据双边滤波的方法,分别对离群点噪声和内部高频噪声进行处理。以Kinect获取的玉米及茄子的三维点云数据进行去噪实验,所用去噪时间仅为传统双边滤波去噪时间的2.71%和1.78%,并且能够达到很好的去噪效果。结果表明,所提方法能够方便、快捷地去除不同尺度的噪声,同时保留边缘数据的完整性,获得良好的植物三维点云数据。     

基于Kinect相机的猪体理想姿态检测与体尺测量

为提高基于机器视觉的猪体体尺测量研究中的图像利用率和体尺测量效率,以长白猪和大白猪为研究对象,基于Kinect相机获取的猪体视频数据,提出了一种猪体理想姿态检测算法。该算法利用最小外接矩形法调整猪体为水平方向;利用投影法和差分法识别头部和尾部位置,通过头部边界标记法判断是否耳部缺失;利用骨骼化算法结合霍夫变换算法检测猪体头部是否歪斜。在此基础上,设计了猪体体尺测量算法。针对养殖场获取的103组视频数据、俯视和侧视各52 016帧图像,进行了理想姿态检测及体尺测量。结果表明,检测出理想姿态2 592帧、漏报432帧、误报0帧,误报率较低;每帧图像的体长偏差与本组体长均值小于2. 3%,组内理想姿态帧之间差异较小,一致性较好;体宽测量的平均精确度为95. 5%,体高测量的平均精确度为96. 3%,体长测量的平均精确度为97. 3%,测量的平均准确度较高。本研究成果应用于基于机器视觉的猪体体尺测量,可提高图像利用率和体尺测量效率。     

基于改进YOLO v8s的羊只行为识别方法

羊只站立、行走、采食等日常行为与其健康状况密切相关,高效、准确的羊只行为识别有助于疾病检测,对实现羊只健康预警具有重要意义。针对目前羊只多行为识别检测大多基于传感器等接触式设备,羊只活动受限,行为具有局限性,且群体养殖环境下,羊只行为多样、场景复杂、存在遮挡等造成的行为识别精度低等问题,提出了一种基于改进YOLO v8s的羊只行为识别方法。首先,引入SPPCSPC空间金字塔结构增强了模型的特征提取能力,提升了模型的检测精度。其次,新增P2小目标检测层,增强了模型对小目标的识别和定位能力。最后,引入多尺度轻量化模块PConv和EMSConv,在保证模型识别效果的同时,降低了模型参数量和计算量,实现了模型轻量化。实验结果表明,改进YOLO v8s模型对羊只站立、行走、采食、饮水、趴卧行为平均识别精度分别为84.62%、92.58%、87.54%、98.13%和87.18%,整体平均识别精度为90.01%。与Faster R-CNN、YOLO v5s、YOLO v7、YOLO v8s模型相比,平均识别精度分别提高12.03、3.95、1.46、2.19个百分点。研究成果可为羊只健康管理和疾病预警提供技术支撑。     

基于改进SIFT-ICP算法的Kinect植株点云配准方法

针对传统配准方法准确度低、速度慢的问题,提出了基于改进SIFT-ICP算法的彩色植株点云配准方法。首先采用Kinect获取不同视角下植株彩色图像和深度图像合成原始植株彩色点云,通过预处理提取原始点云植株信息,对植株点云进行尺度不变特征变换(SIFT)的特征点检测,得到点云配准关键点,再对关键点进行自适应法线估计,然后求取关键点的快速点特征直方图(FPFH),通过采样一致性(SAC-IA)初始配准方法改进点云间初始位置关系,最后利用Nanoflann加速最近点迭代(ICP)算法完成精确配准。试验结果表明,改进SIFT-ICP算法可以大幅度提高点云配准的准确性和快速性,其中对应点间平均欧氏距离小于7 mm,配准时间小于30 s。     

基于三维点云的苹果树叶片三维重建研究

叶片是果树冠层的重要组成部分,对其进行三维重建研究不仅可以对叶片形态特征进行分析,还能为冠层光照分布计算以及果树整形修剪提供理论基础。三维激光扫描仪以非接触、高效、快速获取数据的优势被大量应用于三维空间信息采集工作中。本文提出一种基于三维点云的苹果树叶片结构形态三维重建方法。首先针对叶片的形态特点选择合适的三维激光扫描仪获取苹果叶片三维点云;基于包围盒法搜索K邻域,计算点云中点与其邻域点的平均距离,并设定距离阈值作为判定中心点是否为离散点的依据,进而确定离散点并去除;利用最小二乘原理实现点云局部曲面拟合以及法向量、曲率的计算,提取叶片边界点;对于非边界点部分,根据中心点法向量与其邻域法向量的关系,对点进行不同程度的精简;最后对处理后的叶片点云完成三维重建。结果表明,构建的叶片模型能够较好的保留叶片的三维形态特征,可以为果树冠层重建和光照分布计算提供基础。     

基于三维重建的奶牛体重预估方法

为提高奶牛称量的工作效率,降低劳动强度,提出一种基于三维重建的奶牛体重预估方法。首先搭建奶牛深度视频获取平台,利用Kinect相机分别采集奶牛俯视与侧视视角数据,选取深度视频中同步的俯视帧与侧视帧并转换为点云,去除复杂背景提取奶牛点云;然后利用一帧不同步的侧视点云将同步侧视点云中缺失区域补全,配准俯视与侧视点云后,基于俯视点云中奶牛脊柱的位置选取对称面,利用单视角侧视点云获取得到双视角点云,完成奶牛体表点云的重建;最后进行点云曲面重建,利用曲面模型的体积与表面积建立奶牛体重预估模型。利用29头奶牛数据验证模型效果,结果表明,奶牛曲面模型整体表面积、去除四肢及头部的体积与体重呈显著正相关,体重预估绝对误差在-18.67~23.34kg之间,相对误差均小于3.40%,平均相对误差为2.04%。     

基于Kinect v2的香蕉点云降噪方法

Kinect v2传感器在采集香蕉点云时,噪声会对点云的精度产生影响。文章针对点云噪声在尺寸上的特点,将其分为大尺寸噪声和小尺寸噪声,大尺寸噪声采用统计滤波的方法去除,小尺寸噪声则采用双边滤波的方法进行平滑。结果表明,采用分类降噪的方法相对传统降噪方法而言,有更好的降噪效果。     

基于改进SOLO v2的番茄叶部病害检测方法

为实现对多种番茄叶部病害的精确检测,提出了一种基于改进SOLO v2的番茄叶部病害实例分割方法.该方法以SOLO v2模型为主体框架,将ResNet-101作为骨干网络融合特征金字塔网络( Feature pyramid networks, FPN),引入可变形卷积对卷积结构进行优化,并将损失因子δ融入掩膜损失函数中,...     

基于Kinect的虚拟果树交互式修剪研究

为解决果树修剪技术推广难的问题,提出了基于手势交互的虚拟果树修剪方法。在已有三维果树模型的基础上,通过创建帧缓冲区对象,构建虚拟屏幕,实现果树枝条的快速拾取和修剪;建立了虚拟果树修剪控制手势集,利用Kinect获取骨骼信息,采用状态机匹配识别手势类型,将手部关节点坐标转换至鼠标绝对坐标系,建立不同手势与鼠标和键盘事件之间的映射关系,实现手势交互代替鼠标和键盘交互。实验结果表明:该方法手势识别准确率高,交互实时性好,能够满足虚拟果树修剪应用需求,为果树修剪技术的学习提供了新的途径。     

基于Kinect传感器的猕猴桃果实空间坐标获取方法

猕猴桃自动采摘机器人研究中,为了自动获取目标果实的空间坐标,提出了一种基于Kinect传感器的猕猴桃果实空间坐标获取方法。首先利用Kinect传感器的红外投影机和红外摄像机获取深度图像,利用彩色摄像机获取RGB图像,根据彩色图和深度图对应关系,转换成深度坐标;然后通过Map Depth Point To Skeleton Point函数得到以红外摄像机为原点的坐标系坐标。实验表明:该方法能够有效获取猕猴桃目标果实的空间坐标,其定位误差小于2mm。     

基于Kinect的机器人抓取系统研究

智能抓取搬运机器人能够高效、可靠地完成各种搬运任务,降低工作人员的劳动强度,精准的物体定位是机器人执行搬运任务的基础。本文研究了基于Kinect的机器人抓取系统,可实现物体的类别检测、物体定位及机器人抓取任务。抓取系统由3个子系统(物体检测系统、物体定位系统及机器人抓取系统)组成。首先利用Kinect采集的物体图像信息训练单次多盒检测(Single multi-box detection,SSD)模型,然后根据SSD模型对物体的类别进行检测,得到物体在图像中的边框,并获取边框中物体像素坐标和深度,接着通过Kinect相机手眼标定法将像素坐标和深度转换到机器人基坐标系中,实现物体的定位,最后通过机器人逆运动学求解关节角,驱动机器人运动完成抓取搬运任务。对机器人进行了物体的定位和抓取实验,实验结果表明,物体的定位误差较小,物体抓取搬运实验的平均成功率达到97%,满足物体的抓取搬运需求。     

基于Kinect相机的多视角RGB-D信息融合的甜椒姿态估计研究

针对在复杂环境中由于存在遮挡导致果蔬姿态计算不准甚至无法识别这一问题,提出一种基于Kinect相机的甜椒姿态估计研究方法,通过融合多视角下的甜椒点云信息,结合PCA算法估计出甜椒在空间中的三维姿态。基于Kinect相机的多视角RGB-D信息融合的甜椒姿态估计研究方法是将两间隔为60°的视角下Kinect相机采集甜椒的点云信息融合,并在ICP精配准过程中引入对应点对局部法向量夹角与平均曲率阈值双约束项提高点云配准精度,以解决两视角点云配准效果差、重叠度不高从而造成的由PCA算法估计点云姿态偏差大的技术问题。试验结果表明在无遮挡情况下,本文算法的误差均值为5.15°,在双视角中其中某一视角有遮挡情况下的综合均值误差为5.67°,双视角均有遮挡情况下综合平均误差为7.86°,满足实际作业时的技术要求。本研究不仅适用于甜椒的空间三维姿态识别,同时为其他智能采摘机器人姿态识别系统搭建提供技术参考。     

基于三维点云的群体樱桃树冠层去噪和配准方法

樱桃树的栽培密度影响其冠层的光照分布,通过研究群体樱桃树的三维结构,可分析不同栽植密度下温室甜樱桃树冠层光照分布规律,指导樱桃树的科学种植,进而提高甜樱桃产量和品质。高质量的点云数据是构建群体樱桃树三维结构的基础,而点云去噪和点云配准是点云数据预处理的关键环节。本文提出一种基于三维点云的群体樱桃树去噪和配准方法,搭建群体樱桃树三维信息采集平台,使用2台固定的DK深度相机获取群体樱桃树彩色点云数据;提出基于颜色区域生长的二分类方法,设置颜色阈值分割点云并进行二分类处理,可有效去除彩色点云数据中的异常无效点,并设置点云离散度和RGB值,作为点云去噪评价标准;结合人工标记法和双相机位姿矩阵,提出基于颜色特征改进的ICP方法,解决传统ICP配准算法多依赖初始位姿且配准速度较慢的问题。该方法通过对点云粗配准,得到较好的初始位姿,使用SIFT算法提取颜色特征点,将颜色特征与ICP算法结合进行点云精配准,然后使用PCL中随机采样一致性算法,去除错误匹配点,有效减少配准时间,提高配准精度。以夏季和冬季的群体樱桃树20组点云数据为实验对象,对比分析ICP算法、NDT算法、SAC-IA算法和本文配准方法的配准精度和配准时间,结果表明,本文配准方法平均耗时分别为5.01、4.30s,均方根误差分别为2.316、2.100cm,有效减少了配准时间和配准误差,验证了本文算法的有效性和普适性。     

基于SICK和Kinect的植株点云超限补偿信息融合

针对传统点云信息融合需要限制传感器之间位置以及繁杂标定和Kinect传感器室外工作受光照条件影响会出现目标边缘缺失的问题,提出了基于SICK和Kinect相机组合探测的植株点云超限补偿信息融合方法。首先采用SICK二维激光传感器融合实时行进速度传感器,实现对植株三维点云重构,同时通过Kinect传感器获取植株彩色和深度图像合成彩色点云,然后分别对SICK和Kinect异源点云进行阈值滤波预处理和体素栅格下采样,求取各点法线及快速点特征直方图,利用采样一致性初始配准方法使异源点云之间拥有较好的初始位置关系,再进一步使用ICP算法精确配准,通过近似最近邻搜索和超限补偿的方法完成点云信息融合。在超限补偿方法中,通过对比转换后点云间误差,判断数据有效性,实现对数据的最终融合。试验结果表明,本文方法可以有效、准确地实现不同点云之间的信息融合,并能有效抑制阳光的干扰。     

基于改进YOLO v3模型的奶牛发情行为识别研究

为提高复杂环境下奶牛发情行为识别精度和速度,提出了一种基于改进YOLO v3模型的奶牛发情行为识别方法.针对YOLO v3模型原锚点框尺寸不适用于奶牛数据集的问题,对奶牛数据集进行聚类,并对获得的新锚点框尺寸进行优化;针对因数据集中奶牛个体偏大等原因而导致模型识别准确率低的问题,引入DenseBlock结构对YOLO ...