基于视觉的手势识别技术及其应用研究

研究基于视觉的手势识别技术,并在OpenCV的平台基础上实现基于该技术的多媒体教学的应用,即在幻灯片播放的过程中能够由动态手势来控制幻灯片的翻页。首先通过摄像头来采集图像,利用背景差分法结合颜色直方图检测动态信息完成手势的检测。其次通过几种动态手势的跟踪算法的分析与比较,采用主流的非线性跟踪算法—粒子滤波算法。最后是应用实现部分,将手势识别的结果应用于多媒体演示文稿的播放中,实现通过动态手势实时控制PPT翻页的功能。     

基于Kinect骨骼跟踪技术的手势识别研究

为了实现自然方便的人机交互,提高用户体验,尝试引入微软公司的一款体感周边外设Kinect设备,利用Kinect传感器所获取的人体骨骼跟踪识别点,通过对双手在三维空间中的位置坐标转换,对缩放、旋转的手势进行匹配,将合法的手势信息转换为识别结果,反馈给系统并完成相应的控制指令输出,实现与系统的交互控制.结果表明,该系统具有较高的精度和稳定性,具有一定的借鉴意义.     

三维岩心的高自由度手势操控浏览方法研究

在大屏环境中,岩心的高自由度旋转观察具有重要意义,但传统鼠标方式不适合进行大屏幕环境中的三维自由操作,而基于普通摄像头的手势识别方法受光照、背景等的影响较大,缺乏实时性与鲁棒性。基于深度传感器Kinect,根据地质工作者在实际中操控三维岩心的需求,提出一种自适应Kalman滤波方法,以获取实时连续的手部深度数据,进一步识别出岩心操控手势,最终实现了具有高鲁棒性和高自由度的三维岩心操控浏览界面。研究表明,利用自适应Kalman滤波方法和多模型协同手势识别方法能够提高手势轨迹识别和三维岩心操控的准确性。     

基于视频的手写数字识别

随着计算机技术的不断发展,视频跟踪技术越来越成为计算机领域中研究的热点。视频跟踪技术的研究涉及范围很多,包括视频图像处理、模式识别以及人工智能等,具有较强的研究价值。手势检测识别技术作为一种基于计算机视觉的新型人机交互方式,是其中备受瞩目的研究和应用技术之一。文章采用一种简单高效的颜色直方图对目标（红色手指）进行主色定位,并在图像序列中进行目标区域提取,得到运动轨迹,进行手写数字识别。最后利用八段视频验证了该方法的简单高效,并能成功进行实时跟踪与识别。     

基于Kinect的农业虚拟教学研究

尝试引入微软公司的一款体感周边外设Kinect设备,首先根据设备提供的人体运动检测提取复杂背景下的人体信息,结合自定义的背景图像信息制作虚拟演播室;利用手势功能完成对虚拟演播室背景图像的切换控制,以达到虚拟教学的目的.通过验证基于Ki-nect的前景提取和手势识别控制背景信息能力,证明该设计可以用于农业虚拟教学研究,有一定的借鉴意义.     

基于ARToolKit的手指识别增强现实系统的设计

介绍了一种利用ARToolKit开发包和Opencv进行创新开发、实现手指识别的增强现实系统,该系统可以准确定位手掌、5根手指甚至是指尖,为进一步实现人机交互奠定了坚实的基础。通过该系统可以很大程度上摆脱硬件对人机交互的束缚,使用手指在摄像头形成的视频空间图像触发一些虚拟菜单,进而实现人机交流。     

基于双目视觉的手势识别研究

搭建了一个便利有效地双目视觉系统,结合深度信息,精准地提取手势信息。采用模板标定法对双目相机进行标定,精确地获取了相机的参数,标定的像素误差为0.67个像素;在立体匹配阶段,利用BM算法快速准确地实现了左右相机图像的匹配,获得被测手势的视差;结合三角测距原理,从而生成较为稠密的深度图;最后将深度信息重新映射到原彩色图像上,实现三维重建,生成三维云图,根据云图信息双目视觉系统能有效地从复杂背景中分割手势,并换一种手势进一步验证了所搭建的双目视觉系统从复杂背景中分割手势的可行性。     

基于Kinect的农作物长势深度图像实时获取算法

快速、准确、实时获取农作物长势形态图像信息已经成为数字农业生产管理的趋势和必要手段,而深度图像信息包含彩色图像所没有的三维信息,可为农作物的生长模型三维重建以及实时长势形态监测提供有价值的数据。本研究采用微软公司开发的一款廉价体感游戏设备Kinect,尝试了对农作物长势形态深度图像进行实时监测研究,在介绍Kinect深度成像原理的基础上,提出了采用Kinect获取农作物长势深度图像的算法以及提取3D点云世界坐标的算法,并开展了初步试验。试验结果表明,该方法可以获取良好的三维图像数据信息,能够为后期农作物的生长模型三维重建、长势状态分析、病虫害实时监测等研究提供有价值的数据依据。     

一种基于信息融合苹果果实世界定位方法

构建由Kinect设备、差分GPS设备和陀螺仪组成的信息获取系统,推导RGB图像中苹果果实世界坐标的计算方法。利用Kinect设备获取果园果树RGB图像和深度图像,差分GPS全球定位系统和陀螺仪分别获取Kinect相机位置信息和姿态信息。融合RGB图像和深度图像,利用相对位置定位模型,计算苹果圆心相机空间坐标,融合相机位置信息和姿态信息,利用空间三维坐标转换原理,建立绝对位置定位模型计算苹果世界坐标,对每个果实进行世界空间位置唯一标定。结果表明,果实相对平均定位误差0.035 m,果实绝对定位经度误差0.117 m,纬度误差0.437 m,海拔误差0.145 m。     

自然场景下多目标苹果识别定位融合算法研究

自然场景下苹果采摘对目标的精准识别和三维定位是苹果智能采摘设备的关键技术.融合YOLOv3算法和双目视觉技术,通过YOLOv3算法对多种自然场景下的样本进行训练,构建识别模型,利用双目视觉获取苹果图像,运用YOLOv3模型得到图像中目标苹果的二维坐标,再利用双目视觉视差原理得到深度坐标信息,从而实现对目标苹果的三维空间...     

基于Kinect的温室番茄盆栽茎干检测与分割

立体视觉系统能够得到图像的深度信息,可以很好地将植物前景与温室的背景分开。茎干是植物的骨架,也是识别植株的重要特征。通过采用基于Kinect的立体视觉系统对温室盆栽植物的茎干进行检测和分割。通过细化算法、Hough变换、基于直方图的统计方法及Otsu算法在深度图像上进行植物茎干检测,从而分割植物的茎干。最后基于OpenGL图形平台,实现了番茄植株个体的形态可视化,从而为番茄植株生长的可视化奠定了技术基础。     

基于彩色点云图像的不同成熟阶段番茄果实数量的测定方法

【目的】为测定温室中番茄不同成熟阶段的果实数量,提出一种基于彩色点云图像的测定方法。【方法】在移动平台上搭载KinectV2.0采集温室中行栽番茄的图像信息合成番茄植株点云,再将二视角的番茄植株点云合成1个点云,并通过深度信息截取得到近处番茄植株点云,将标注的点云数据输入到PointRCNN目标检测网络训练预测模型,并识别番茄植株点云中的番茄果实,最后利用基于特征矩阵训练的支持向量机(Support vector machine, SVM)分类器对已经识别出来的果实进行成熟阶段分类,获得不同成熟阶段番茄果实的数量。【结果】基于PointRCNN目标检测网络的方法识别番茄果实数量的精确率为86.19%,召回率为83.39%;基于特征矩阵训练的SVM分类器,针对番茄果实成熟阶段的预测结果在训练集上准确率为94.27%,测试集上准确率为96.09%。【结论】基于彩色点云图像的测定方法能够较为准确地识别不同成熟阶段的番茄果实,可以为评估温室番茄产量提供数据支撑。     

基于影像滤除地面激光雷达数据中绿色植被点云的方法研究

基于地面激光雷达扫描时配置的高分辨率相机所获取的影像数据,变换影像数据的颜色空间之后分别在色相通道和饱和度通道中根据阈值检测出绿色植被的分布区域,通过融合两个通道的阈值检测结果提高检测准确度,通过对检测区域进行腐蚀和膨胀运算消除检测区域中的数据噪点,最终通过二维检测区域和三维点云数据的配准实现滤除绿色植被所对应的点云数据。利用地面激光雷达实际测量的点云数据和影像数据开展试验,获得了较好的试验结果,表明方法有效可行。     

基于历史帧路径搜索的红枣动态图像采集

图像采集是实现红枣品质分级和检测的关键前提。针对基于静态图像的采集方式不能全面反映外观品质、实时性差和基于传输式图像采集方式的机械、电路设计复杂且适用性不足的缺点,提出一种基于历史帧最小路径搜索,实现对视频中红枣目标进行跟踪、标定,建立红枣动态样本集的方法。首先利用RGB(red,green,blue)颜色空间转换HSV(hue saturation value)空间图像的明度(V)分量,基于V分量建立掩膜对RGB图像执行掩膜去背景。同时,针对视频图像中获得的二值图像,建立坐标系,获得每帧图像基于轮廓外接最小正矩形的特征向量,将当前帧和前一帧中的特征向量基于最小路径搜索的方法,加入约束条件,实现对视频中每个红枣目标的跟踪和标定,最后基于正矩形参数的感兴趣区域(region of interest,简称ROI),实现动态样本建立。利用此算法,对拍摄的视频图像的检测表明建立的动态样本集能更全面地反映红枣外观品质。该算法简单、有效,特别在实现基于深度神经网络的红枣在线检测中具有较大的应用潜力。     

基于Kinect的母猪呼吸频率测定算法

[目的]呼吸频率是评价母猪健康的重要指标。针对目前畜牧业对母猪呼吸频率无接触测定的需求,提出一种基于Kinect的无接触测量算法。[方法]使用Kinect采集梅山母猪侧卧时的深度图像。通过动态区域检测算法确定腹部区域,采用DBSCAN密度聚类算法得到腹部区域质心进行局部深度图像提取。最后基于腹部区域局部深度图像的深度均值,使用离散傅里叶变换得到深度-时间拟合曲线,通过极值点确定1次呼吸过程的周期进而求出监测时间段内母猪的呼吸频次,最后转化成母猪的呼吸频率(RF)。[结果]将检测结果与人工计数结果做比较,呼吸频率正确率为85.3%,该呼吸频率测定算法是有效的。[结论]提出了一种呼吸频率测定方法,该方法实现无接触测量,准确率高,为定位饲养条件下的梅山母猪呼吸频率的测定提供了理论支撑。     

麦田多列目标图像检测算法

针对麦田图像中多列目标检测问题,提出基于水平线扫描的归类算法。对麦田彩色图像进行绿色强调,利用阈值分割方法提取苗列区域;对二值图像水平扫描,检测目标区域和目标点,根据目标点横坐标值的差值实现归类;利用过已知点的霍夫变换检测多列目标直线。对800幅麦田图像进行多列目标检测结果表明:762幅图像中的多目标列的中心线能够完全正确提取出来;处理640像素×480像素的彩色图像需要0.12 s。该算法在多列目标识别中是一种有效、快速的检测算法。     

Kinect传感器的植株冠层三维数据测量

植株三维信息重构能为植株生长状态监测和精确喷雾施药提供有效数据。提出一种基于Kinect传感器技术的植株冠层三维数据测量的方法。由Kinect传感器进行植株彩色和深度图像数据的采集,提取和处理所采集的植株冠层目标有效三维信息,完成对植株深度数值和水平投影面积的计算。以规则形状物体与不规则植株为实验对象,对三维数据测量方法进行准确性实验测试,并将实验结果与人工测量结果进行比对。实验结果显示,该方法的深度和面积测量的准确性较高,深度测量误差小于1.0%,面积测量误差小于3.6%。选取温室吊兰作为场地实验对象,采用由测量机构和控制处理机构组成的冠层三维检测系统对吊兰冠层进行三维数据测量,并实时输出深度以及水平投影面积信息,其深度测量的相对误差为1.77%。研究表明,该方法具有较高的可行性,适用于温室植株冠层三维数据测量。     

基于线结构光视觉的番茄重叠果实识别定位方法研究

为实现番茄自动化采收,针对温室光照条件多变、背景复杂及果实簇生遮挡的特征,构建了基于线结构光视觉的番茄果实识别定位视觉系统,并提出了一种针对簇生重叠果实的区域分割方法。在(2R-G-B)色差模型下利用动态阈值分割,提取成熟果实区域;计算亮度渐变梯度向量,采用灰度重心法提取结构光条纹中心线;基于线结构光立体测量原理,在光条纹扫描视场过程中实时获取成熟果实表面三维信息,并映射形成果实表面与相机光心距离深度图像,实现簇生重叠果实区域的立体分割;基于果实表面激光条纹点空间坐标拟合果实外接球体,获取果实形态和空间坐标信息;试验结果表明,视觉系统单次识别测量耗时2.8s,果实直径测量误差小于6mm,果实与摄像机中心距测量误差小于8mm。     

基于激光雷达和Kinect相机点云融合的单木三维重建

为了更好地建立单木三维彩色模型，获得准确表型参数，提出了一种基于Kinect v2相机和激光雷达的单木点云信息融合检测方法。首先由激光雷达采集樱树单木所在区域的完整环境点云，生成点云地图；由Kinect相机采集樱树单木多视角点云得到完整的三维彩色点云；然后以激光雷达点云位置为基准，通过选取对应同名点的方式对2种点云进行初始配准，使点云之间具有良好的初始位置关系，再使用最近点迭代（iterative closest point, ICP）算法对点云进行精配准；最后使用彩色点云对雷达点云进行点云着色融合处理，实现樱树单木的三维重建。结果显示：与只使用Kinect v2相机生成的樱树单木表型参数对比，融合后的樱树单木的株高、冠幅和胸径的平均相对误差分别降低了1.52、6.46和18.17个百分点。研究结果表明，Kinect v2深度彩色相机和激光雷达在单木三维重建上能实现优势互补，提升点云配准精度，同时，既能降低光照气候条件的影响，又能增加测量距离，单木表型参数更准确。     

Horn-Schunck光流算法在运动目标检测及跟踪中的运用研究

光流技术是提取图像序列全局的或特征点的运动信息并对运动信息加工处理以完成目标的跟踪和检测的方法。具体分析了Horn-Schunck光流算法（简称HS光流算法）,并将该算法应用到视频图像序列中。研究表明,利用HS光流法计算能近似得到图像中每个像素点的运动矢量,通过找到其中光流值不为零的像素点组成的最大连通区域,可以实现运动目标的检测和跟踪。