基于信息融合描述子的机器人复杂场景位姿估计算法

传统机器人V-SLAM前端定位算法是基于人工设定的特征点提取和描述子局部匹配进行定位的,由于人工设定的主观性会导致提取方法鲁棒性差、复杂场景适应能力弱(场景明亮变化、噪声的引入、运动模糊)以及局部描述子匹配精度低等问题,为此,提出一种前端定位算法(SuperPoint Brief and K-means visual location, SBK-VL),该算法首先采用一种改进的概率p-SuperPoint深度学习算法提取特征点,以解决特征点鲁棒性低、复杂场景适应力弱的问题。其次提出一种全局信息(特征点聚类)和局部信息(Brief描述子)相结合的复合描述子,降低传统描述子误匹配及匹配精度低的问题,实验结果显示该复合描述子的平均匹配正确率为92.71%。最后将该SBK-VL替换ORB-SLAM2的前端,引入一种Ransac随机抽样方法对位姿进行检验,并使用绝对轨迹误差、相对轨迹误差、平均跟踪时间与ORB-SLAM2算法和GCNv2-SLAM算法进行比较。实验结果表明,本文算法具有更好的均衡性能,一方面可提升经典V-SLAM算法的复杂场景适应性和估计精度,另一方面相比传统深度学习SLAM算法具有更好的实时性和更低计算成本。     

基于自适应阈值ORB特征提取的果园双目稠密地图构建

针对果园阴暗光照条件下图像特征点匹配数量少、易丢失以及点云稀疏问题,对ORB-SLAM2算法进行了改进,提出了基于自适应阈值ORB特征点提取的果园双目三维地图稠密建图算法。首先在跟踪线程中提出一种自适应阈值的FAST角点提取方法,通过计算不同光照下图像平均像素求解阈值,对左右目图像提取ORB特征,增加了不同光照条件下的特征点匹配数量;然后根据特征点估计相机位姿完成局部地图跟踪,对跟踪线程产生的关键帧地图点进行BA优化完成局部地图构建。在原有算法基础上添加了基于ZED-stereo型相机双目深度融合的稠密建图模块,对左右目关键帧进行特征匹配获得图像对,利用图像对求解深度信息获取地图点,经过深度优化获取相机位姿,根据相机位姿进行局部点云的构建与拼接,最终对获得的点云地图进行全局BA优化,构建果园三维稠密地图。在KITTI数据集序列上进行测试,本文所改进的ORB-SLAM2算法的绝对轨迹误差更加收敛,轨迹误差标准差在00和07序列分别下降60.5%和62.6%,在其他序列上也有不同程度下降,表明本文算法定位精度较原始算法有所提高。不同光照环境下进行算法性能测试,结果表明本文算法较原始算法能更好地适应不同光照条件,在较强光照、正常光照、偏弱光照和阴雨天气下特征点平均匹配数量增加5.32%、4.53%、8.93%、12.91%。进行果园直线和稠密建图试验,结果表明直线行驶偏航角更加收敛,定位精确度高,关键帧提取数量较原始算法下降2.86%、平均跟踪时间减少39.3%;稠密建图效果好,能够很好地反映机器人位姿和果园真实环境信息,满足果园三维稠密点云地图构建需求,可为果园机器人导航路径规划提供支持。     

果园机器人LiDAR/IMU紧耦合实时定位与建图方法

针对果园环境中GNSS定位信号易丢失和传统SLAM算法鲁棒性较差的问题，本文提出一种基于LiDAR/IMU紧耦合框架的全局无偏状态估计果园机器人定位与建图方法。LiDAR/IMU紧耦合框架基于因子图进行多源约束的IMU里程计构建，实时输出高频位姿信息，IMU里程计因子和预积分因子优化LiDAR里程计并提供位姿先验约束IMU零偏。引入局部点云地图参与特征点云粗匹配和非特征点云递进式匹配进一步稠密化源点云，改善LiDAR里程计的性能。融合GPS信号与LiDAR/IMU紧耦合框架的地图构建，能够得到准确且高频连续的位姿信息，提高点云地图的复用率。在果园和苗木等场景验证了该算法的性能，实验结果表明，与LIO-SAM等算法相比，定位精度维持在0.05 m左右，均方根误差为0.016 2 m。本文算法使机器人具有更高的精度、实时性和鲁棒性，有效降低了系统累积误差，保证了所构建地图的全局一致性。     

移动机器人RGB-D视觉SLAM算法

针对移动机器人视觉同步定位以及地图构建(Simultaneous localization and mapping,SLAM)研究中存在精确度较低、实时性较差等问题,提出了一种用于移动机器人的RGB-D视觉SLAM算法。首先利用定向二进制简单描述符(Oriented fast and rotated brief,ORB)算法提取RGB图像的特征点,通过基于快速近似最邻近(Fast library for approximate nearest neighbors,FLANN)的双向邻近(K-nearest neighbor,KNN)特征匹配方法得到匹配点对集合,利用改进后的随机抽样一致性(Re-estimate random sample consensus,RE-RANSAC)算法剔除误匹配点,估计得到相邻图像间的6D运动变换模型,然后利用广义迭代最近点(Generalized iterative closest point,GICP)算法得到优化后的运动变换模型,进而求解得到相机位姿。为提高定位精度,引入随机闭环检测环节,减少了机器人定位过程中的累积误差,并采用全局图优化(General graph optimization,G2O)方法对相机位姿图进行优化,得到全局最优相机位姿和相机运动轨迹;最终通过点云拼接生成全局彩色稠密点云地图。针对所测试的FR1数据集,本文算法的最小定位误差为0.011 m,平均定位误差为0.024 5 m,每帧数据平均处理时间为0.032 s,满足移动机器人快速定位建图的需求。     

基于语义信息的SLAM特征提取方法研究

视觉SLAM技术是无人驾驶技术中的关键一环,可以为无人车提供环境地图信息以及精确的位置信息。直接使用传统的特征提取算法而不加改进,不利于视觉SLAM系统的位姿解算。基于语义分割对视觉SLAM技术中特征提取的环节进行了优化,使其特征点分布更加均匀,有利于无人车进行更加准确的位姿估计,并设计实验对方法的有效性进行了验证。实验结果表明：采用改进的方法有利于视觉SLAM系统进行更准确的定位和地图构建。     

基于区间分析无迹粒子滤波的移动机器人SLAM方法

移动机器人同时定位与地图创建算法SLAM中,非线性系统线性化处理和雅可比矩阵计算导致运算量大、系统状态估计精度较低.为此提出了一种基于区间分析的无迹粒子滤波同时定位与地图创建的方法.利用基于区间分析的区间粒子滤波进行位姿估计,降低了定位需要的粒子数;并采用无迹卡尔曼滤波更新地图中的特征,提高了地图创建的精度.在同等粒子数的情况下,改进了SLAM的精度,减少了运算时间,实验结果验证了方法的有效性.     

基于激光雷达与深度相机融合的SLAM算法

针对单一传感器地图构建时存在环境表征不充分，无法为移动机器人自主导航提供完整环境地图等问题，本文通过将激光雷达与深度相机获取的环境信息进行互补融合，构建出更完整精确的栅格地图。首先，对传统ORB-SLAM2算法进行增强，使其具备稠密点云地图构建、八叉树地图构建以及栅格地图构建等功能。其次，为验证增强后ORB-SLAM2算法的性能，在fr1＿desk1数据集和真实场景下进行测试，数据显示增强后ORB-SLAM2算法绝对位姿误差降低52.2%,相机跟踪轨迹增长14.7%,定位更加精准。然后，D435i型深度相机采用增强型ORB-SLAM2算法，激光雷达采用的Gmapping-Slam算法，按照贝叶斯估计的规则进行互补融合构建全局栅格地图。最后，搭建实验平台进行验证，并分别与深度相机和激光雷达2个传感器建图效果进行对比。实验结果表明，本文融合算法对周围障碍物的识别能力更强，可获取更完整的环境信息，地图构建更加清晰精确，满足移动机器人导航与路径规划的需要。     

基于改进ORB-SLAM2的果园喷药机器人定位与稠密建图算法

针对果园喷药机器人视觉导航过程中定位精度低、地图构建效果差等问题，本文提出一种新的视觉定位与稠密建图算法。该算法基于ORB-SLAM2算法架构，首先，通过优化FAST角点、描述子阈值，并采取图像金字塔法与高斯滤波算法，剔除劣质ORB特征点，以提升图像关键帧质量和特征匹配精度。其次，引入稠密建图线程，利用点云恢复算法、统计滤波方法形成点云队列，采取点云拼接技术与体素滤波算法输出稠密点云地图，并在ORB-SLAM2算法的ROS节点中增加关键帧输出接口与位姿发布话题，通过NeedNewKeyFrame函数选取ORB-SLAM2算法所生成的关键帧，减少系统计算量。最终，由RGB-D相机实现果园喷药机器人的精准定位与稠密建图。为验证本文算法的有效性与实用性，进行TUM数据集仿真分析与真实场景测试，结果表明：相较ORB-SLAM2算法，本文算法的绝对轨迹平均误差降低44.01%、相对轨迹平均误差降低7.93%,ORB特征点匹配数量平均提升19.03%,定位精度与运行轨迹效果均有显著提升，此外，还能获取较高精度的果园喷药机器人工作场景信息。本文算法可为果园喷药机器人的自主导航提供理论基础。     

苹果采摘机器人目标识别与定位方法研究

【目的】在算力资源有限的嵌入式设备上对目标苹果进行快速、准确的识别与定位。【方法】研究小组对采摘机器人的目标识别与定位方法进行研究,以YOLOv4网络模型为基础,对YOLOv4进行轻量化改进,使用MobileNet V3作为特征提取的主干网络,减少模型的计算量,并结合ZED双目相机与定位算法在嵌入式平台上进行实验。【结果】实验表明：1）在目标识别方面,改进后模型的平均检测精度为87.32%,模型的大小为53.76 MB,较改进前降低了79%。2）采用ZED相机结合测距算法进行了苹果目标定位实验,ZED双目相机的测距误差可控制在0.02 m以内,同时改进的YOLOv4算法的平均检测速度在15FPS左右。【结论】改进后的YOLOv4网络模型更适合部署在算力有限的嵌入式设备中进行苹果采摘任务,且能够满足苹果采摘任务的实时性要求。因此,该方法可以为苹果采摘机器人的识别与定位提供技术参考。     

基于ROS的室内自主导航移动机器人的研制

【目的】解决传统AGV机器人体积大、成本高、受限于固定路径等问题。【方法】本研究提出了一种以低成本、轻量化和结构简单为设计理念的室内移动机器人。为了降低制造成本确定了机器人的整体结构,双驱动电机与福来轮组成三轮结构。机器人采用基于ROS系统的控制方案、上位机与下位机结合的控制方式,使用激光雷达作为SLAM的传感器并用磁编码器作为里程计。本研究深入分析了A*全局规划算法,并提出了改进的A*算法。同时采用DMA（动态窗口法）作为局部路径规划算法,通过搭建实际移动机器人,进行SLAM建图实验、自主导航实验和避障实验。【结果】实验结果表明,该机器人能够进行室内的自主导航并且在全局路径规划速度方面有较大的提升,使用改进后的A*算法后,平均路径规划效率提升了31.1%。【结论】本研究为我国移动机器人技术的发展和产业化提出了一种性能优越、成本低、结构简单的移动机器人设计方案。     

基于改进YOLOv5s的麦穗检测算法研究

【目的】解决麦穗检测中麦穗之间相互遮挡、麦穗在图像中难以检测和不同环境造成目标模糊等情况导致麦穗检测精度低的问题。【方法】笔者提出一种基于改进YOLOv5s的算法,通过将数据集同时进行离线增强和在线增强,再将YOLOv5s的骨干网络进行改进,增添具有注意力机制的transformer模块,强化主干网络的全局特征信息提取能力,neck结构由原来的PAFPN改为具有双向加强融合的BiFPN特征融合网络,进行多尺度的特征融合。最后,在head部分使用EIoU-NMS来替代NMS,提高对遮挡麦穗的识别度。【结果】相比于其他改进单一结构的YOLOv5s模型,此综合性改进模型具有更好的检测效果,使mAP@0.5:0.95提高了1.4%,改进的算法比原始YOLOv5s算法的mAP@0.5提高了1.8%。【结论】使用离线增强和在线增强的方式可以使模型的精度有所提升;该模型的改进有效增强了麦穗识别过程中特征融合的效率,提高了麦穗检测的效果,能够为后续相关模型的改进升级提供参考。     

基于改进LOAM的森林样地调查系统设计与试验

森林中线、面特征较少等,导致LOAM算法去畸变及配准精度低、鲁棒性差,很难将该算法直接用于森林调查。为此以LOAM算法为基础设计了LiDAR SLAM森林样地调查系统,在SLAM系统工作流程中剔除了遮挡线特征,避免视点与立木切线点作为线特征参与运算;引入二次去畸变、二次配准等模块提高了去畸变、配准的鲁棒性及精度;该系统将激光雷达测量精度、位姿估计精度等先验信息引入去畸变及配准优化算法中,提高去畸变及配准精度。使用32线激光雷达扫描了4块32 m×32 m的森林样地,利用LiDAR SLAM森林样地调查系统完成样地建图,利用该点云提取的立木位置及胸径与参考数据对比,完成了新型SLAM样地调查系统在森林中建图精度的间接评估。结果显示：立木位置估计值在x、y轴方向的平均误差分别为-0.004 m和-0.011 m,x、y轴方向均方根误差分别为0.081 m和0.083 m;胸径估计值的偏差为0.25 cm(相对偏差为1.18%),均方根误差为1.03 cm(相对均方根误差为5.53%);经与LOAM估计结果相比,改进系统获取的立木位置及胸径精度均提高。结果表明,所设计的LiDAR SLAM森...     

复杂动态场景下基于光流分割SLAM算法研究

针对目前主流SLAM(同时定位与建图)算法在动态环境中存在精度大幅下降的问题,提出了一种基于光流分割去除动态物体干扰的DY-SLAM(SLAM In Dynamic Environment)算法。该算法采用实例分割算法结合相邻帧图像之间的稠密光流对动态物体进行分割,在SLAM系统图像帧间匹配前剔除动态物体特征点,提高动态环境下的定位精度。使用公开数据集对算法进行评估,算法的RMSE提升最大可达21.59%,能够有效提高系统在复杂动态环境下的定位精度及鲁棒性。     

基于改进YOLO的自然环境下桃子成熟度快速检测模型

【目的】解决自然环境下不同成熟度桃子快速准确检测的问题,课题组提出一种基于改进YOLOv5s的目标检测算法YOLO-Faster。【方法】使用YOLOv5s网络模型作为基础网络,将主干特征提取网络替换为FasterNet,使模型轻量化,并在主干和颈部之间增加串联的CBAM卷积注意力模块和常规卷积块,增强对图像重要特征的捕捉与表达,同时引入SIoU损失函数缓解预测框与真实框之间方向的不匹配。【结果】改进后模型的m AP为88.6%,与YOLOv5s相比提升1个百分点,模型权重缩减39.4%,浮点运算量降低44.3%,在GPU、CPU上的单张图像平均检测时间分别减少12.6%和24%。此外,本研究将训练好的模型部署到嵌入式设备Jetson Nano上,模型在Jetson Nano上的检测时间比YOLOv5s减少30.4%。【结论】改进后的轻量级模型能够快速准确地检测自然环境下不同成熟度的桃子,可以为桃子采摘机器人的视觉识别系统提供技术支持。     

基于三维点云的群体樱桃树冠层去噪和配准方法

樱桃树的栽培密度影响其冠层的光照分布,通过研究群体樱桃树的三维结构,可分析不同栽植密度下温室甜樱桃树冠层光照分布规律,指导樱桃树的科学种植,进而提高甜樱桃产量和品质。高质量的点云数据是构建群体樱桃树三维结构的基础,而点云去噪和点云配准是点云数据预处理的关键环节。本文提出一种基于三维点云的群体樱桃树去噪和配准方法,搭建群体樱桃树三维信息采集平台,使用2台固定的DK深度相机获取群体樱桃树彩色点云数据;提出基于颜色区域生长的二分类方法,设置颜色阈值分割点云并进行二分类处理,可有效去除彩色点云数据中的异常无效点,并设置点云离散度和RGB值,作为点云去噪评价标准;结合人工标记法和双相机位姿矩阵,提出基于颜色特征改进的ICP方法,解决传统ICP配准算法多依赖初始位姿且配准速度较慢的问题。该方法通过对点云粗配准,得到较好的初始位姿,使用SIFT算法提取颜色特征点,将颜色特征与ICP算法结合进行点云精配准,然后使用PCL中随机采样一致性算法,去除错误匹配点,有效减少配准时间,提高配准精度。以夏季和冬季的群体樱桃树20组点云数据为实验对象,对比分析ICP算法、NDT算法、SAC-IA算法和本文配准方法的配准精度和配准时间,结果表明,本文配准方法平均耗时分别为5.01、4.30s,均方根误差分别为2.316、2.100cm,有效减少了配准时间和配准误差,验证了本文算法的有效性和普适性。     

基于滤波算法的林果采摘机器智能控制系统研究

【目的】提高林果采摘机器的综合采摘效率,减轻人工作业强度,优化系统数据收集与传输性能,提升系统稳定性。【方法】课题组设计了一款基于滤波算法的林果采摘机器智能控制系统。该系统利用滤波算法实现了网络信息拥堵控制,其工作原理为：通过高分辨率相机收集林果图像发送至总控系统,使用滤波算法识别目标林果后检测位置信息;由传感器收集林果与机械爪的距离进行位姿计算,运动控制设备发送指令后机械臂到达采摘位置;末端执行设备控制电机运转后操控机械臂完成采摘。【结果】测试表明,系统应用滤波算法的适应性良好,与应用灰狼算法相比,整体运行稳定率达到了92%以上,各项参数指标符合预期。【结论】该林果采摘机器智能控制系统可实现高效智能采摘,推广前景较为良好,本研究可为类似采摘或收获农机装备的优化设计提供参考。     

基于融合深度信息的自动喷雾车全局非线性轨迹优化方法

针对传统的基于深度信息的喷雾车轨迹优化方法存在定位精度差、浮点漂移、深度信息帧易丢失等问题,提出了一种融合深度信息的全局非线性轨迹优化方法。在喷雾车前进过程中使用Real Sense传感器实时获取连续彩色信息帧,提取并优化重叠区域的FAST特征点,计算BRIEF描述子,通过快速最近邻算法进行特征匹配,并使用Nanoflann算法加速特征匹配过程。在获取连续关键帧的匹配点对后,对特征点对进行校验,剔除误匹配点对,利用对极几何融合深度信息计算两相邻关键帧部分匹配点对的本质矩阵,并针对剩余匹配点对进行重投影获取重投影误差。统筹全局连续关键帧,综合所有关键帧中匹配点的重投影误差,构建图优化,并通过Dogleg算法多次迭代获取当前喷雾车的精确位姿。该方法避免了单一依赖深度信息估计喷雾车轨迹时,出现位姿估计误差较大和深度信息帧丢失导致无法定位的问题。采用本文算法估计的喷雾车行驶轨迹更加接近于真实轨迹,其偏离真实轨迹误差均值下降了1. 07 cm,方差下降了2. 14 cm,超调量降低了2. 13 cm,提高了车行驶轨迹的鲁棒性。     

基于关键点预测的装配机器人工件视觉定位技术

针对目前装配机器人基于手工的特征检测易受光照条件、背景和遮挡等干扰因素的影响,而基于点云特征检测又依赖模型构建精度,本文采用深度学习的方式,对基于关键点预测的工件视觉定位技术展开研究。首先,采集工件各个角度的深度图像,计算得到工件的位姿信息,选取工件表面的关键点作为数据集。然后,构造工件表面关键点的向量场,与数据集一同进行深度训练,以实现前景点指向关键点的向量场预测。之后,将向量场中各像素指向同一关键点的方向向量每两个划分为一组,取其向量交点生成关键点的假设,并基于RANSAC的投票对所有假设进行评价。使用EPnP求解器计算工件位姿,并生成工件的有向包围盒显示位姿估计结果。最后,通过实验验证了系统估计结果的准确性和鲁棒性。     

基于残差网络的UR5机械臂故障诊断方法

【目的】UR5机械臂是常用的机械臂之一,但由于其负重较小,抓取物体时易发生故障,导致严重后果,因此探究UR5机械臂的故障诊断方法具有重要现实意义。【方法】研究团队提出了一种基于ResNet网络的UR5机械臂故障诊断方法。首先,利用MATLAB机器人工具箱对UR5机械臂进行仿真建模。其次,在对UR5六自由度机械臂抓取时产生的大量数据进行分析后,将数据输入网络进行故障诊断实验。此外,还设置了对比实验和消融实验。【结果】ResNet网络模型的训练集与测试集的准确率最终收敛到98%,损失值最终稳定在0.015,其准确率比LeNet、AlexNet、VGG等网络模型的准确率高1%～2%,损失值也更小。【结论】ResNet网络在判别UR5机械臂故障时具有较高的准确率与较低的损失值,研究团队所提出的故障诊断方法有效,可保障机械臂正常执行抓取任务。     

基于改进ORB_SLAM2的机器人视觉导航方法

提出了一种基于改进ORB_SLAM2的视觉导航方法。针对ORB_SLAM2构建的稀疏地图信息不充分、缺少占据信息、复用性差而无法直接用于导航的问题,对ORB_SLAM2算法进行了改进,融合环境的3D、2D占据特征以及路标点空间位置、视觉特征等多模态信息构建了包含定位、规划、交互图层的多图层地图以支撑机器人的精准定位和最优路径规划;针对机器人的自主导航任务,基于先验多图层地图建立约束进行机器人的位姿估计,融合运动约束进行机器人位姿优化,实现了基于先验地图的机器人精准定位,同时基于规划图层进行机器人的最优路径规划,提升了机器人的自主导航能力。在TUM数据集及北京鹫峰国家森林公园进行实验,结果表明：所构建的多图层地图提升了机器人定位的精度和效率,性能明显优于RGB-D SLAM;基于先验地图的视觉定位方法能够进行机器人移动过程中精准、实时地定位,助力机器人按照所规划的路径实现准确的自主导航。