基于Unity 3D果树交互虚拟修剪技术及其实现

针对真实果树进行修剪试验存在不可逆性、成本高、修剪效果难以快速呈现等缺点,将Unity3D虚拟现实技术应用到果树的枝、叶、花等修剪模拟。首先通过三维扫描仪获取果树形态数据;然后三维重建得到模型导入unity创建虚拟果园;利用射线拾取算法鼠标可以拾取果树枝条上设置的修剪点,由修剪规则判断若修剪点选取正确,出现"虚拟剪刀",并利用包围盒层次法进行碰撞检测以修剪动画的方式剪掉拾取对象。以单株柑橘为例,模拟了其某枝条疏花疏果及果实采摘交互修剪过程。实验结果表明,该方法能直观形象地模拟果树修剪过程,符合真实的人工修剪操作,树木真实感较好,对果树修剪的教学和研究有较好的实用价值。     

车辆虚拟试验系统的实现

论述了基于虚拟现实技术的汽车虚拟试验系统，利用ADAMS动力学软件获取的动力学分析数据来驱动虚拟场景中的试验车辆，同时配合虚拟仪表准确动态显示车辆的运动状态参数，实现车辆的虚拟试验过程仿真。用户可操纵鼠标、键盘与虚拟场景进行交互作用。     

一种车辆平顺性虚拟试验方法

探讨了一种车辆平顺性虚拟试验的方法 :利用 Multi Gen Creator工具对二维和三维图形进行绘制编辑 ,形成虚拟试验场的三维图形数据库 ,然后由 Open GVS SDK通过调用图形数据库及对 Open GVS中通道、场景、光照、相机等资源的编程 ,建立了模拟真实环境的虚拟道路试验场。研究表明 ,用 Open GVS SDK软件建立的虚拟试验场环境逼真 ,拟实效果好。在用鼠标、键盘等外部输入工具进行场景控制时 ,响应快、实时性好。该技术与虚拟样机技术相结合 ,可以在计算机上实现车辆的性能试验     

单株幼龄苹果树修剪仿真研究

修剪是果树生产中重要的技术手段,要想研究更加合理的修剪技术体系,就必须保证能够对修剪反应有准确、直观和及时的判断,而仿真模拟技术提供了这种可能。以幼龄苹果树为研究对象,采用不同修剪处理对比的方法,在田间试验的基础上,总结修剪反应规律,构建苹果树结构和修剪模型。在此基础上基于Qt框架和OpenGL图形库,开发了单株苹果树修剪仿真软件平台。结合优化算法,通过仿真平台模拟了给定生产目标的修剪方案优化,优化结果对虚拟学习和实际生产提供了可视化指导。     

初果期苹果树剪枝仿真研究

苹果树的剪枝对果树坐果和树形塑造起着重要的作用。本文选用五年生苹果树为研究对象，对其进行仿真研究。首先，采用三维激光扫描仪对冬季落叶后的果树进行扫描获取点云数据，经过去噪、重采样和软件处理获得苹果树的骨架节点。其次，再对苹果树进行4种不同类型的剪枝处理，经过一个生长期后，记录被修剪枝条的生长数据，进行定性和定量分析。分析结果表明，随着果树修剪的加重，潜伏芽率、短枝率会逐渐下降，中枝率变化不显著，但长枝率会逐渐增加。根据每种修剪类型后对应母枝的抽枝类型与母枝上的节位规律变化，生成了对应的多项式拟合函数，为虚拟苹果树修剪仿真提供数学规律。最后，建立了苹果树修剪仿真软件用于初果期苹果树剪枝仿真，修剪后仿真抽枝结果的变化规律与实际修剪产生的抽枝规律相符，可为初果期苹果树来年坐果或塑形提供修剪参考方案。     

果树机械自动化修剪技术的应用探讨

随着果树种植规模化、专业化的大力推进,不少地区果树实现了合作化、规模化生产经营,由于果树种植的面积较大,种植管理中树体、枝条的修剪工作量大,然而,传统的果树树条修剪方式存在效率低、消耗的人工多、修剪耗时长等弊端,与果树的规模化、专业化生产管理不相适应,有必要引进消化吸收先进的果树自动化修剪技术,促进果树种植的规模化、专业化生产的大发展。本文从果树管理的实际情况出发,具体分析了果树人工修剪的现状及对自动化修剪技术的需求,果树自动化修剪技术的基本原理及在实际应用中的对策。     

手势识别在Matlab中的仿真设计

手势识别系统是现阶段的热点研究方向之一,本系统利用图像预处理、手势分割、手势识别等相关处理技术,对简单手势进行识别。图片预处理是将图像进行灰度化、边缘检测、平滑等预处理,然后将预处理后的图片采用二值化方法进行手势分割,经过处理后再把手势与手势库里的图片进行对比来实现手势识别。本系统遵循简单可靠的理念,选择了像素对比的方法。     

休眠期果树修剪机器人视觉感知系统研究现状

视觉感知系统是休眠期果树修剪机器人重要的组成部分,其决定了修剪机器人完成剪枝作业的质量。为明确修剪机器人视觉感知系统所面临的挑战以及未来发展方向,本文首先对休眠期果树修剪机器人系统组成进行了描述,然后对果树枝干信息采集方法、枝干的识别方法等进行概述。分析目前修剪机器人视觉感知系统存在的问题,并指出果树修剪机器人研究的重点方向,为未来修剪机器人的落地应用提供一些参考。     

远程控制采摘机器人手势识别研究——基于势场蚁群算法

采摘机器人在作业时遇到通过自主导航无法越过的障碍物时,或者在危险的地带无法进行人工采摘作业时,需要借助远程方式进行实时控制,使其成功越过障碍物,并在高危环境中有效地展开采摘作业。为了优化采摘机器人远程控制系统,提出了一种基于手势识别的远程控制方案,并引入了势场蚁群算法,提高了机器人的控制的准确性和高效性。在远程控制方案中,将基于视觉的手势识别与远程控制机械手相结合,通过深度相机采集手势图像并提取手势特征,转换为机械手舵机的控制命令,并通过无线网络发送至采摘机器人控制单元,实现视觉手势对机器人的远程控制。对采摘机器人进行了测试,通过测试发现:基于蚁群算法的手势识别系统可以有效地追踪得到不同的动态手势,且可以准确地识别手势所代表的意义,成功实现了机器人远程控制的手势识别。该方法不仅可以远程实现机器人避障功能,还可以将其应用在山谷、沼泽等危险地带进行采摘作业,实现其非凡的使用价值。     

鼠标和键盘的正确使用与维护

1 对于大多数电脑用户，使用的仍然是PS／2接口的鼠标和键盘，该接口不支持热插拔，必须在关机后才能拔鼠标和键盘，否则很有可能导致鼠标和键盘及其接口的损坏。而对USB接口的鼠标和键盘可以随时插拔。     

丘陵山地果树冠层体积激光测量方法与试验

树冠体积是农药变量喷施、肥料精准施用和果产预估等果园精细管理的重要因素。为了克服丘陵山地果园地面不平整和果树种植不规整等因素对果树冠层体积激光测量方法的影响,搭建了果树冠层体积激光测量平台,基于AHRS和DGPS实现定位定姿,通过空间坐标转换直接求取果树冠层激光扫描点在大地坐标系下的三维数据;并采用切片技术提取冠层点云的面、线信息,以累加方式计算果树冠层体积。测得的大地坐标系下的丘陵山地荔枝树冠层激光点云能较真实地反映果树冠层的形状特征;以3棵人工修剪的圆柱形绿篱树为靶标,冠层体积激光测量与人工测量相对误差约为5%。试验结果表明,依据果树冠层点云测量冠层体积具有较高的准确性和可靠性。     

基于双目立体视觉的果树三维信息获取与重构

为实现果实收获机器人避障,研究了树枝空间信息提取方法和果树树枝三维重建方法:采用归一化互相关法获取立体图像视差图,在图像中提取树枝骨架并采用多线段逼近法提取特征点;结合视差图,利用双目立体视觉原理计算树枝骨架特征点的空间坐标,再利用距离图像求取树枝半径信息;将分枝点断开形成简单线图形,简化了树枝三维信息。在空间坐标原点采用12棱柱构建各段树枝模块,通过仿射变换将三维模块以正确的位姿与其他模块组合成果树模型。试验表明,生成的虚拟果树为水果采摘机器人避障及路径规划提供了环境参照。     

基于Kinect v2传感器的果树枝干三维重建方法

针对果树三维重构中存在建模精度低、成本高、拓扑结构差等问题,提出一种基于Kinect v2传感器的果树表型三维重建与骨架提取方法。首先,使用Kinect v2传感器采集不同视角下的果树点云数据;其次,对植株点云进行尺度不变特征变换的特征点检测,对关键点使用快速点特征直方图算法进行特征向量计算,通过随机抽样一致性方法提纯点云的初始位置,经初始变换后使用改进的迭代最近点算法进行精配准、拼接形成完整点云;最后,使用Delaunay三角剖分解构点云数据对缺失点云进行填充,使用Dijkstra最短路径算法对最小生成树进行求取,通过迭代去除冗余分量对骨架进行简化,使用圆柱拟合算法估算枝干骨架,将枝干骨架变为封闭凸包多面体,实现果树的枝干三维重建。实验结果表明：采用本文所提建模方法点云平均配准误差为0.52cm,枝干平均重构误差不超过3.52%,重建效果良好。研究成果可为果园评估作物状态、智能化修剪等研究提供数据支持。     

基于Leap Motion体感传感器的手部位置信息获取方法研究

本文基于Leap Motion传感器编写人机交互界面并研究用户手部信息的动态采集和显示方法。首先基于Leap Motion传感器对动态手部信息实时采集,其中包括对手掌中心和指尖的空间位置、手掌的空间姿态、左右手、手势及指骨坐标等信息,然后通过编写MFC人机交互界面,实现数据信息的动态显示输出及保存,并通过验证实验,获得Leap Motion检测精度,以及三坐标轴的检测范围。该手部位置信息实时采集系统可为虚拟现实技术提供技术支撑。     

激光测距在果树冠层三维重构中的应用

随着计算机技术的发展和果园果树精细管理的现实需求,果树冠层的三维重构问题成为研究热点。本文采用激光传感器在不同高度对果树靶标冠层进行水平扫描测距;将从果树不同方位测得的探测点坐标进行坐标转换,得到同一坐标系下的果树冠层三维点云;采用插值法重构模型树冠层三维轮廓。试验结果表明重构的冠层轮廓较为准确地反映了果树的外形轮廓。本文研究为采用激光传感器测距技术进行果树冠层三维重构与体积测量提供了前期研究基础。     

基于深度学习和图像处理的水果收获机器人抓取系统

首先,介绍了水果收获机器人抓取系统的总体架构;然后,利用深度学习对水果目标识别进行了研究,实现了一套基于卷积神经网络的目标检测算法;接着,利用图像处理技术实现了对目标物体定位的功能,可以引导水果收获机器人完成对目标水果的采摘。实验结果表明:水果收获机器人抓取系统对水果坐标的计算误差较小,且具备较强的水果识别和定位能力。     

基于语义分割的矮化密植枣树修剪枝识别与骨架提取

为了实现休眠期枣树自动选择性剪枝作业,针对复杂树形结构修剪枝难以识别的问题,研究了基于语义分割网络实现自然场景中枣树修剪枝识别与骨架提取。通过RGB-D相机搭建的视觉系统获取不同天气情况下枣树的点云信息,根据距离阈值去除复杂的枣园背景,并构建枣树前景数据集。利用DeepLabV3+和PSPNet 2种深度学习模型分割枣树枝干同时获取其修剪枝的掩膜,并进行结果对比。对修剪枝掩膜进行二值化,依据二值图像的面积去除噪声,对去噪后的连通域标记,并提取修剪枝骨架,最终确定修剪枝数量,建立修剪枝数量真实值与预测值之间的线性回归模型。结果表明：基于ResNet-50特征提取网络的DeepLabV3+模型识别结果最好,平均像素准确率（mPA）、平均交并比（mIoU）分别为89%和81.85%,其中枣树主干、修剪枝2个类别的像素准确率（PA）和交并比（IoU）分别为90.36%、80.98%和80.34%、66.69%;在3种典型天气（晴天、阴天、夜间）情况下,晴天枣树枝干的mPA（91.97%）略高于阴天（91.81%）和夜间（90.98%）,同时,预测的修剪枝与真实值的R2（0.8699）也高于阴天（0.8373）和夜间（0.8120）,并得到最小的RMSE为1.1618。     

基于Kinect动态手势识别的机械臂实时位姿控制系统

基于Kinect动态手势识别达到实时控制机械臂末端位姿的效果。位置控制信息的获取采用Kinect计算手部4个关节点在控制中的位置变动,数据噪声在控制中易引起机械臂误动作和运动振动等问题,为了避免噪声对实时控制的不利影响,采用卡尔曼滤波跟踪降噪。姿势控制信息通过采集手部点云经滤波处理后应用最小二乘拟合的方式获取掌心所在平面,运用迭代器降噪处理。系统通过对手部位置和姿势信息的整合、手势到机械臂空间坐标映射及运动学求解来实时控制机械臂末端位姿。实验结果证明,手势控制系统满足控制要求,简单、易于操作,机械臂实时响应速度快、运动准确。