基于Kinect动态手势识别的机械臂实时位姿控制系统

基于Kinect动态手势识别达到实时控制机械臂末端位姿的效果。位置控制信息的获取采用Kinect计算手部4个关节点在控制中的位置变动,数据噪声在控制中易引起机械臂误动作和运动振动等问题,为了避免噪声对实时控制的不利影响,采用卡尔曼滤波跟踪降噪。姿势控制信息通过采集手部点云经滤波处理后应用最小二乘拟合的方式获取掌心所在平面,运用迭代器降噪处理。系统通过对手部位置和姿势信息的整合、手势到机械臂空间坐标映射及运动学求解来实时控制机械臂末端位姿。实验结果证明,手势控制系统满足控制要求,简单、易于操作,机械臂实时响应速度快、运动准确。     

基于三维点云的运输车粮箱动态均匀装载方法研究

为了解决联合收获机-运输车协同作业时,运输车粮箱装载不均匀,导致粮箱装载利用率低的问题,提出了一种基于三维点云的动态均匀装载方法。该方法利用相机获取运输车粮箱内装载物的三维点云作为状态反馈信息,建立装载均匀性评估方式,以最均匀装载状态为目标,通过实时调整卸料装载点位置,使粮箱保持在均匀的装载状态。针对装载物相互遮挡对相机形成视觉盲区的问题,通过建立装载物的堆体模型和相机的遮挡模型,以最小期望误差为目标对盲区内装载物高度进行估计,并据此进行点云填充,从而得到能完整反映粮箱装载状态的三维点云。在搭建平台进行的实验中,对粮箱装载过程中可能出现的轻载、中载和重载3种装载状态进行测量,并对盲区点云位置进行估计,其盲区估计的平均误差低于5 cm。仿真结果表明,动态均匀装载方法能在有限装载周期内,将粮箱从任意的初始装载状态装载为均匀状态。单次装载量的平均高度增量为2 cm、粮箱的初始装载状态为空载时,装载物的最大高度方差为1 cm²。单因素仿真结果表明,稳定状态下的装载物高度方差与单次装载量正相关。     

基于三维点云的运输车粮箱动态均匀装载方法研究

为了解决联合收获机运输车协同作业时,运输车粮箱装载不均匀,导致粮箱装载利用率低的问题,提出了一种基于三维点云的动态均匀装载方法。该方法利用相机获取运输车粮箱内装载物的三维点云作为状态反馈信息,建立装载均匀性评估方式,以最均匀装载状态为目标,通过实时调整卸料装载点位置,使粮箱保持在均匀的装载状态。针对装载物相互遮挡对相机形成视觉盲区的问题,通过建立装载物的堆体模型和相机的遮挡模型,以最小期望误差为目标对盲区内装载物高度进行估计,并据此进行点云填充,从而得到能完整反映粮箱装载状态的三维点云。在搭建平台进行的实验中,对粮箱装载过程中可能出现的轻载、中载和重载3种装载状态进行测量,并对盲区点云位置进行估计,其盲区估计的平均误差低于5cm。仿真结果表明,动态均匀装载方法能在有限装载周期内,将粮箱从任意的初始装载状态装载为均匀状态。单次装载量的平均高度增量为2cm、粮箱的初始装载状态为空载时,装载物的最大高度方差为1cm2。单因素仿真结果表明,稳定状态下的装载物高度方差与单次装载量正相关。     

基于改进YOLO v4的自然环境苹果轻量级检测方法

针对苹果采摘机器人识别算法包含复杂的网络结构和庞大的参数体量,严重限制检测模型的响应速度问题,本文基于嵌入式平台,以YOLO v4作为基础框架提出一种轻量化苹果实时检测方法(YOLO v4-CA)。该方法使用MobileNet v3作为特征提取网络,并在特征融合网络中引入深度可分离卷积,降低网络计算复杂度;同时,为弥补模型简化带来的精度损失,在网络关键位置引入坐标注意力机制,强化目标关注以提高密集目标检测以及抗背景干扰能力。在此基础上,针对苹果数据集样本量小的问题,提出一种跨域迁移与域内迁移相结合的学习策略,提高模型泛化能力。试验结果表明,改进后模型的平均检测精度为92.23%,在嵌入式平台上的检测速度为15.11f/s,约为改进前模型的3倍。相较于SSD300与Faster R-CNN,平均检测精度分别提高0.91、2.02个百分点,在嵌入式平台上的检测速度分别约为SSD300和Faster R-CNN的1.75倍和12倍;相较于两种轻量级目标检测算法DY3TNet与YOLO v5s,平均检测精度分别提高7.33、7.73个百分点。因此,改进后的模型能够高效实时地对复杂果园环境中的苹果进行检测,适宜在嵌入式系统上部署,可以为苹果采摘机器人的识别系统提供解决思路。