基于深度和彩色双信息特征源的Kinect植物图像拼接

图像拼接对制作全景图具有重要作用,传统SIFT(scale-invariant feature transform)图像拼接方法受光照不均匀或风吹影响,存在错位和缺失等情况。针对这一问题,该文提出一种基于Kinect彩色和深度双信息特征源的图像拼接方法。首先对获取的植株彩色图像采用SIFT算法进行特征点提取和特征点匹配,利用Kinect收集到的植株深度数据去除误匹配,采用RANSAC算法寻找投影变换矩阵,最后通过最佳缝合线算法进行图像融合。室内和室外试验结果表明,该文基于Kinect彩色和深度双信息特征源的图像拼接方法能够有效克服光照、风吹等环境因素的影响,避免了图像缺失、亮暗差异、重影等拼接错误,该文方法图像拼接时间较短,平均匹配准确率达96.0%,较传统SIFT图像拼接方法平均准确率提高了5.9%。     

基于Kinect相机的猪体理想姿态检测与体尺测量

为提高基于机器视觉的猪体体尺测量研究中的图像利用率和体尺测量效率,以长白猪和大白猪为研究对象,基于Kinect相机获取的猪体视频数据,提出了一种猪体理想姿态检测算法。该算法利用最小外接矩形法调整猪体为水平方向;利用投影法和差分法识别头部和尾部位置,通过头部边界标记法判断是否耳部缺失;利用骨骼化算法结合霍夫变换算法检测猪体头部是否歪斜。在此基础上,设计了猪体体尺测量算法。针对养殖场获取的103组视频数据、俯视和侧视各52 016帧图像,进行了理想姿态检测及体尺测量。结果表明,检测出理想姿态2 592帧、漏报432帧、误报0帧,误报率较低;每帧图像的体长偏差与本组体长均值小于2. 3%,组内理想姿态帧之间差异较小,一致性较好;体宽测量的平均精确度为95. 5%,体高测量的平均精确度为96. 3%,体长测量的平均精确度为97. 3%,测量的平均准确度较高。本研究成果应用于基于机器视觉的猪体体尺测量,可提高图像利用率和体尺测量效率。     

基于Kinect的机械臂车系统的目标抓取

设计和制造一个模块化的机械手臂,模仿人的手臂动作。整个系统由控制、软件、通信和手动/工具子系统组成。机械臂系统利用Kinect技术将手臂运动采样信号发送到机械手臂。一个开发的图形用户界面(GUI)使用c++快速工具包(FLTK)库输出用户的主要骨骼跟踪数据。在采样阶段,Kinect捕捉到的人体关节的实时数据将显示在窗口上。该数据进一步处理,定义了脉冲宽度调制(PWM)信号,用于在机械臂上驱动多个伺服电机。这些伺服电机中有五个集成在机械臂上。运动是由这些伺服电机的旋转方向决定的。机器人手臂的模块化是通过整合Myo手势控制器实现的,这样用户就可以控制机械手臂,根据不同的场景来选择和替换工具。当一个特定的手势被执行时,机器人手臂将执行自动的动作,包括分离当前的工具并获取下一个工具。此外,所有的数据和指令都通过wi-fi无线传输。这个概念机器人的证明为那些在危险情况下工作的人创造了一个更好的用户界面,同时还能捕捉人类的视角和互动。     

基于关键帧提取与头颈部去除的奶牛体尺测量方法

为提高奶牛体尺测量的效率与精度,降低劳动强度,提出一种基于关键帧提取与头颈部去除的奶牛体尺测量方法。首先,搭建奶牛俯视深度视频采集平台,利用分水岭算法提取深度图像中的奶牛目标;其次,使用图像扫描策略获取奶牛左右两侧轮廓,利用基于霍夫变换的直线检测方法,提取图像序列中含有完整奶牛躯干的关键帧;然后,根据奶牛头部区域骨架特征判定头部是否存在,若头部存在,则基于凸包分析方法去除图像中奶牛头部,并利用多项式曲线拟合方法去除奶牛颈部;最后,根据奶牛体尺测点的空间特征,自动计算奶牛体直长、肩宽、腹宽、臀宽及体高。利用35头奶牛的2.163帧深度图像对本文方法精度进行测试,结果分析表明,关键帧提取方法准确率为97.36%,可有效代替人工进行关键帧的选取;头部检测方法准确率为94.04%,提高了奶牛体尺测点定位的效率;体尺测量平均相对误差在3.3%以内。本文研究成果可提高奶牛体尺自动测量的效率与精度。     

基于Kinect传感器的猕猴桃果实空间坐标获取方法

猕猴桃自动采摘机器人研究中,为了自动获取目标果实的空间坐标,提出了一种基于Kinect传感器的猕猴桃果实空间坐标获取方法。首先利用Kinect传感器的红外投影机和红外摄像机获取深度图像,利用彩色摄像机获取RGB图像,根据彩色图和深度图对应关系,转换成深度坐标;然后通过Map Depth Point To Skeleton Point函数得到以红外摄像机为原点的坐标系坐标。实验表明:该方法能够有效获取猕猴桃目标果实的空间坐标,其定位误差小于2mm。     

基于Kinect骨骼跟踪技术的手势识别研究

为了实现自然方便的人机交互,提高用户体验,尝试引入微软公司的一款体感周边外设Kinect设备,利用Kinect传感器所获取的人体骨骼跟踪识别点,通过对双手在三维空间中的位置坐标转换,对缩放、旋转的手势进行匹配,将合法的手势信息转换为识别结果,反馈给系统并完成相应的控制指令输出,实现与系统的交互控制.结果表明,该系统具有较高的精度和稳定性,具有一定的借鉴意义.     

基于Kinect的农业虚拟教学研究

尝试引入微软公司的一款体感周边外设Kinect设备,首先根据设备提供的人体运动检测提取复杂背景下的人体信息,结合自定义的背景图像信息制作虚拟演播室;利用手势功能完成对虚拟演播室背景图像的切换控制,以达到虚拟教学的目的.通过验证基于Ki-nect的前景提取和手势识别控制背景信息能力,证明该设计可以用于农业虚拟教学研究,有一定的借鉴意义.     

植株点云超体聚类分割方法

针对传统的超体聚类分割对植株存在过分割率高、实时性差的问题,提出一种融合显著性特征图的超体聚类分割方法。首先,采用Kinect V2实时获取目标植株的彩色图像和深度图像,将RGB彩色空间图像转换为CIELab彩色空间图像,计算每个像素的显著性特征值,获取彩色特征图,并融合亮度特征图和方向特征图构建显著性特征图;然后,将显著性特征图和深度图像同步对齐,获得显著性点云,八叉树网格初始化点云,并通过Mean-Shift算法获取满足概率密度阈值的网格点云,取最大概率密度点作为种子点,基于点对之间的欧氏距离和特征相似度作为区域生长相似性准则,生成超体素块;最后,通过LCCP算法对显著性点云进行聚类分割。实验结果表明,改进的显著性超体聚类分割方法可以大幅提高目标前景分割的准确性和快速性,有效克服背景噪声和离群点。     

基于激光雷达和Kinect相机点云融合的单木三维重建

为了更好地建立单木三维彩色模型，获得准确表型参数，提出了一种基于Kinect v2相机和激光雷达的单木点云信息融合检测方法。首先由激光雷达采集樱树单木所在区域的完整环境点云，生成点云地图；由Kinect相机采集樱树单木多视角点云得到完整的三维彩色点云；然后以激光雷达点云位置为基准，通过选取对应同名点的方式对2种点云进行初始配准，使点云之间具有良好的初始位置关系，再使用最近点迭代（iterative closest point, ICP）算法对点云进行精配准；最后使用彩色点云对雷达点云进行点云着色融合处理，实现樱树单木的三维重建。结果显示：与只使用Kinect v2相机生成的樱树单木表型参数对比，融合后的樱树单木的株高、冠幅和胸径的平均相对误差分别降低了1.52、6.46和18.17个百分点。研究结果表明，Kinect v2深度彩色相机和激光雷达在单木三维重建上能实现优势互补，提升点云配准精度，同时，既能降低光照气候条件的影响，又能增加测量距离，单木表型参数更准确。     

体感操控多臂棚室机器人作业决策规划算法研究

针对目前棚室内机器人作业分析算法智能性不足、准确作业率较低,且一次巡航过程只能进行单一作业,存在使用效率不高的问题,提出了一种搭载在三臂棚室机器人上,基于体感操控作业的决策规划算法,用Kinect采集含操作人员位姿信息的深度图像,结合随机森林统计学习理论和基于高斯核函数的Mean shift算法,确定了代表人体位姿的20个关键骨骼点坐标,在此基础上提出了一种基于模式切换的三臂映射关系,将骨骼点信息映射到机器人工作空间,使人的两只手臂能自如的控制三臂机器人,在一次巡航中完成多种棚室作业;此外,还提出了一种结合骨骼追踪技术和YCb Cr颜色空间的手势特征分割方法,实现了用手势控制机器人末端执行器作业。最后,搭建了用于测试体感决策算法的三臂机器人样机,进行了针对该决策算法的精确性试验,根据试验误差数据对肩部关节夹角采用离散化取值识别,解决了肩部关节识别误差,结果表明:测试者被捕捉到的关节处夹角和机器人对应关节夹角的最大映射误差为1.90°,上位机发送夹角值与机器人实际转动的夹角值最大误差为0.80°,在误差允许范围内,同时在该精度下完成一套采摘加喷施作业指令,平均耗时13.34 s,且操作者还可通过体感操控训练进一步提高机器人作业性能,表明该算法具有准确性和实用性。