驾驶人眼睛定位及特征提取算法研究

为进一步提高驾驶人眼睛状态检测对环境、头部姿态的适应性和鲁棒性,提出一种基于主动红外成像和双目立体视觉技术的眼睛定位和特征提取的方法。对采集的3名驾驶人脸部红外图像平滑处理算法、阈值分割算法进行了对比研究,得出适于驾驶人眼睛状态检测的实时算法。在驾驶人脸部区域定位的基础上,采用连通区域标记法对眼睛区域进行精确定位,通过最小二乘椭圆拟合算法获取瞳孔位置,使用Harris角点检测获取普尔钦光斑位置。研究表明:该方法能有效对驾驶人眼睛进行定位,并准确提取相关特征信息。     

基于机器视觉的农业机器人运动障碍目标检测

在农业移动机器人平台上运用机器视觉技术检测作业环境中是否存在运动障碍目标时,机器人自身运动会与障碍目标运动叠加在一起.为此,首先在移动机器人平台上连续采集两帧图像,提取其特征点并加以匹配;然后应用双线性模型描述对应特征点在图像之间的运动特性,并用最小二乘法对模型参数进行最优估计,得到两帧图像之间的变换矩阵;最后利用此变换矩阵补偿前帧图像来消除机器人自身运动的影响,再与后帧图像作帧差,在线检测出运动障碍目标.实验结果表明,该方法仅依据图像信息即可有效地检测出农业机器人导航环境中存在的运动障碍目标.     

基于视觉导航和RBF的移动采摘机器人路径规划研究

为了提高采摘机器人自主导航和路径规划能力,提出了基于计算机视觉路径规划和RBF神经网络自适应逼近算法的导航方法。使用图像分割、平滑处理和边缘检测技术,根据图像像素灰度值确定了导航线的位置,利用逐行扫描的方法得到了导航离散点。路径规划和跟踪使用RBF神经网络逼近算法,通过逼近误差和权值控制路径跟踪的精度,系统响应的执行端使用液压伺服系统,提高了机器人自主导航的精度。以黄瓜采摘作为研究对象,在日光温室对机器人采摘作业进行了测试,通过测试得到了RBF神经网络的路径跟踪误差曲线。测试结果表明:机器人可以很好地逼近跟踪规划路径,其计算精度较高,跟踪效果较好。     

智能采摘机器人路径规划的设计与研究

以四足轮式采摘机器人为研究载体，将采集的果园图像经过灰度化、阈值分割、几何校正、比例尺寸划分等处理，然后进行栅格化；在此基础上，对采摘机器人在作业时的路径进行全局规划，通过蚁群算法寻找出一条无障碍、短距离的行驶路线；同时，结合运动学模型和PID闭环等现代控制理论，将得到的路径信息转化为控制信号，输出占空比变化的PWM波，从而控制电机运转，使得采摘机器人以规定的速度跟踪已规划好的行驶路线；最后，将此理论以嵌入式方式进行软硬件开发，设计出一款路径规划-跟踪控制系统。实验结果表明，利用路径规划-跟踪控制系统的采摘机器人按规划的路径到达目标点的平均概率为94.5%,能够准确、有效地辅助采摘机器人进行采摘作业。     

基于多阈值图像分割算法的秸秆覆盖率检测

针对目前秸秆覆盖率人工检测费时费力、准确率低、信息难以存储的问题,提出了一种基于图像分割的秸秆覆盖率检测方法。考虑到传统图像分割方法精度不高,且多阈值分割时计算量过大,将灰狼算法中的搜索机制与差分进化算法相融合,提出一种基于图像多阈值的自动分割方法（DE-GWO）,用于田间秸秆覆盖率检测。首先,对现场采集的秸秆覆盖图像进行预处理,采用自适应Tsallis熵作为目标函数,评估图像分割效率;其次,根据图像的复杂程度选取分割阈值的数量,利用DE-GWO算法对其进行多阈值图像分割;然后,分别按照灰度级别计算分割后图像比例;最后,根据拍摄高度、fov视角等参数,将图像中秸秆覆盖率与实际地理面积进行转换。实验结果表明,本文算法田间秸秆覆盖率与实际测量误差在8%以内,且相比于改进粒子群算法（PSO）和灰狼算法（GWO）,DE-GWO算法精确度更高,平均耗时为人工测量的1/1500。开发了一套依据DE-GWO算法的秸秆覆盖率检测软件系统,为后续监控系统的实时检测提供了算法基础和软件支持。     

自主导航农业车辆的全景视觉多运动目标识别跟踪

为提高自主导航农业车辆导航路径的准确性和行驶作业的安全性,提出自主导航农业车辆的全景视觉多运动目标识别跟踪方案。该方案采用全景视觉进行无盲区的多运动障碍目标的检测,并解决了多运动目标跟踪中遮挡重叠的问题。首先系统将多目相机采集的图像拼接成全景图像,采用分段图像的改进核函数算法对运动目标进行快速自动检测跟踪;其次采用基于路径预测的粒子滤波算法进行多运动目标跟踪并解决遮挡重叠的问题。通过试验表明:采用改进的核函数目标快速跟踪算法,与传统核函数跟踪算法相比,减少系统内存消耗66.8%,加快运算速度35.63%;采用基于路径预测的粒子滤波多目标跟踪算法,在多运动目标遮挡重叠的情况下,平均提高运动目标跟踪成功率39.5个百分点,算法平均耗时0.78s。     

基于超像素暗通道和改进导向滤波的农业图像去雾方法

针对传统暗通道先验算法运算速度慢以及适用性差的问题,提出了一种基于超像素级暗通道先验和自适应容差机制改进导向滤波算法的农业图像去雾方法。首先利用超像素分割获得具有一致颜色和亮度属性的超像素块并估计不规则区域块的透射率,引入导向滤波算法并利用自适应平滑参数细化透射率得到更为细致的边缘信息,加入自适应容差机制,使其能够根据图像明亮区域的变化和雾霾的浓度对透射率进行自适应补偿修正,得到最优透射率。最后对局部大气光估计和适应性调整,根据大气散射模型得到质量更高的复原图像。试验以6幅农业场景图像为例进行去雾研究,采用主观和客观评价指标评价去雾结果,与传统去雾算法相比,本文方法恢复的图像色彩更真实,细节更丰富,并且在一定像素范围内具有较高的实时性,可为农情信息解析提供研究基础。     

基于机器视觉的水果采摘机器人目标识别方法

为解决水果采摘机器人快速、准确识别目标问题,提出一种基于机器视觉的类球状水果识别方法。首先采用基于颜色归一化差的图像分割算法,将果实从背景中分割出来;然后利用单像素边缘跟踪算法提取果实边缘,并在跟踪过程中利用直线投影法剔除角点,使交叉边缘在角点处断开,提高遮挡情况下识别的准确性;最后通过最小二乘法检测圆形,识别果实。实验结果表明,算法处理中等大小的图像平均用时83.548ms,识别准确率达95%以上。算法快速、鲁棒,可以满足机器人实时作业要求。     

基于自适应系数卡尔曼滤波的农业移动机器人组合定位

基于全球导航卫星系统（Global navigation satellite system,GNSS）的定位导航技术在半结构化、半开放式农业应用场景的部分区域,可能由于存在作物遮挡而导致GNSS接收信号出现短暂丢失的情况,进而影响机器人定位导航精度,甚至对作物和工作人员造成伤害。针对这一问题,本文开展了农业遮挡环境下的GNSS与惯性导航系统(Inertial navigation system,INS)的组合定位方法研究。搭建了用于多传感器定位导航实验的农业机器人系统,该系统由履带式移动平台、GNSS、INS等硬件和ROS(Robot operation system)操作系统、远程操控界面等软件构成。提出了引入自适应系数的GNSS/INS组合定位卡尔曼滤波算法,当GNSS无法进行差分定位或定位数据产生跃变时,通过自适应卡尔曼滤波能够切换到INS定位,从而实现机器人自身位置、姿态的最优估计。在典型农业遮挡场景（果园）进行了实地组合定位实验,并通过GNSS单通道定位、INS单通道定位、常规卡尔曼滤波融合定位、引入自适应系数的卡尔曼滤波定位等4种定位方法的对比,验证了本文提出算法的有效性。现场实验表明：定位过程中,当100m×20m的实验区域内出现30m×6m的高遮挡区域时,与GNSS定位信息测量方法、INS航迹推算定位方法以及常规卡尔曼滤波组合定位方法相比,自适应系数卡尔曼滤波组合定位方法定位精度分别提升62.1%、48.5%、47.7%。     

基于多层约束立体视觉的采棉机器人视觉系统研究

大田成熟棉花的识别和定位是采棉机器人作业的基本前提。为此,提出一种采棉机器人视觉系统解决方案。首先根据棉纤维颜色特点,将彩色棉田图像分离为RGB 3个通道,分别进行预处理和阈值分割,最后合并为彩色图像,继而检测大面积区域的轮廓并计算其质心点;在轮廓附近区域对预处理过的棉田图像进行FAST角点检测,使用SUFT特征描述并进行四层约束立体匹配,结合隐式定标参数可计算出特征点的空间坐标;最后,建立了一种考虑镜头缩放影响的轮廓面积/最小外接圆面积比值的成熟度估计模型。实验结果表面:本方法可在准确识别和定位大田棉花的同时判断棉花的成熟度。     

基于EKF的农机智能体自主导航算法研究

为获得更加准确、全面、实时的农田障碍物信息,提高农业机械智能体自主导航定位的精度,提出一种基于北斗系统和视觉导航的组合定位方法。针对农田环境,选择BDS、视觉CCD为外部传感器,设计一种基于扩展卡尔曼滤波器(EKF)的数据融合算法,该算法融合了BDS和视觉传感器数据,实时定位农机智能体的位置。系统通过对导航角度和行驶进度进行跟踪,完成绝对定位。通过机器视觉图像处理,获取导航基准和作业目标信息,完成相对定位。通过试验验证该算法的有效性,并通过卡尔曼滤波算法(KF)的成果进行对比分析。结果表明：滤波后的路径更平滑,抖动偏差减小,坐标数据比KF滤波结果更稳定、更平滑。此外,距离的平均误差可以从滤波前的0.119 5 m降低到滤波后的0.07 0 m,有效地降低了过程噪声。且位置偏差在±0.1 m以内,精度较高,提升了农机智能体自主导航的定位精度。     

基于改进纯追踪模型的农机路径跟踪算法研究

为提高农机作业时直线行驶的精度,提出了一种基于改进纯追踪模型的农机路径跟踪算法。在建立了运动学模型和纯追踪模型的基础上,对农机直线跟踪方法进行研究;针对GPS导航精度易受噪声干扰的问题,通过卡尔曼滤波对航向误差以及横向误差进行了平滑处理,以获取更高精度的航向误差和横向误差;为提高纯追踪模型的自适应能力,以横向误差和航向误差的均方根误差为基础,构建适应度函数,并设计了权重函数,采用横向误差作为主要决策参数,通过粒子群优化(Particle swarm optimization,PSO)算法实时确定纯追踪模型中的前视距离;为使粒子群减少计算时间、尽快进行局部搜索,对PSO算法中惯性权重系数进行了改进。以东方红1104-C型拖拉机为试验平台,设计了农机自动导航控制系统,进行了农田播种试验。结果表明:当农机行驶速度为0.7 m/s时,采用基于改进纯追踪模型的农机路径跟踪算法,直线跟踪的最大横向误差为0.09 m;当行驶距离超过5 m后,最大横向误差为0.02 m,该算法能够有效地提高农机作业时的直线行驶精度。     

基于UKF的农用履带机器人滑动参数估计

为了实时获取农用履带机器人运行过程中履带与地面之间的滑动信息,改善机器人控制精度,在对履带机器人运动学原理进行分析的基础上,推导了机器人运动学方程和非线性测量方程,设计了基于无迹卡尔曼滤波的滑动参数估计系统,实时估计出机器人精确姿态,并根据机器人的运动特性重建不可测的滑动量。实验结果表明:滑动参数估计系统可以提供准确和高更新率的滑动量,为农用履带机器人的精确控制提供依据。     

基于视觉的吊装机器人卷扬随动控制研究

海洋浪涌对海洋物流吊装机械工作安全及可靠性有很大的影响。目前海浪运动补偿多基于IMU或MRU等船舶专用传感器,其成本较高。采用组合标识,提出基于视觉的吊装机器人卷扬随动控制方法。首先,对机械臂进行运动学分析以及手眼标定,采用视觉标识对复杂环境下的目标进行检测,采用主方向定位以及DLT算法对标识进行定位;然后通过建立卷扬系统模型,在速度环上采用伪微分反馈复合控制算法,使用基于双S形曲线运动规划加减算法进行目标运动跟踪、路径重规划,并采用加减速方法生成运动轨迹。通过搭建试验平台,模拟海上工作环境并进行静态目标和动态目标跟随试验,验证了卷扬升降控制的可行性以及随动控制策略的有效性。     

基于卡尔曼滤波的自动引导车串级轨迹跟踪控制

针对三轮AGV具有不完整约束特性的运动学模型,提出一种串级轨迹跟踪算法,把模型转换为两个非线性时变系统,通过运用串级控制及状态微分反馈控制实现系统全局渐进稳定,最后再利用卡尔曼滤波算法对带有噪声干扰的状态进行估计,提高AGV自定位精度,从而进一步提高该控制器的输出精度.该控制策略具有一般性,对所有AGV及其他轮式移动机器人的运动学模型都适用,且设计方法简单、鲁棒性强.计算机仿真结果表明,该系统能在较短时间内实现全局渐进稳定,验证了该控制策略的有效性.     

一种改善农电网电能质量的谐波检测算法

为了提高农村配电网的电能质量和抑制谐波污染,提出了一种应用于APF谐波检测的新的变步长自适应滤波算法。该算法通过当前误差变化值同稳态临界阈值相比较来确定滤波器权系数的更新方式。当误差变化超过稳态临界阈值时,使用步长因子与Sigmoid函数的关系来更新步长,以此来提高算法的初始收敛速度和动态响应速度;相反,步长因子由当前误差与上一步误差的自相关估计来决定,使步长因子只取决于真正的系统跟踪误差,提高了稳态精度。实验表明,该算法能够同时保证谐波检测较快的收敛速度、较高的稳态精度和动态跟踪效果。     

基于YOLO v8n-seg和改进Strongsort的多目标小鼠跟踪方法

多目标小鼠跟踪是小鼠行为分析的基本任务,是研究社交行为的重要方法。针对传统小鼠跟踪方法存在只能跟踪单只小鼠以及对多目标小鼠跟踪需要对小鼠进行标记从而影响小鼠行为等问题,提出了一种基于实例分割网络YOLO v8n-seg和改进Strongsort相结合的多目标小鼠无标记跟踪方法。使用RGB摄像头采集多目标小鼠的日常行为视频,标注小鼠身体部位分割数据集,对数据集进行增强后训练YOLO v8n-seg实例分割网络,经过测试,模型精确率为97.7%,召回率为98.2%,mAP50为99.2%,单幅图像检测时间为3.5ms,实现了对小鼠身体部位准确且快速地分割,可以满足Strongsort多目标跟踪算法的检测要求。针对Strongsort算法在多目标小鼠跟踪中存在的跟踪错误问题,对Strongsort做了两点改进：对匹配流程进行改进,将未匹配上目标的轨迹和未匹配上轨迹的目标按欧氏距离进行再次匹配;对卡尔曼滤波进行改进,将卡尔曼滤波中表示小鼠位置和运动状态的小鼠身体轮廓外接矩形框替换为以小鼠身体轮廓质心为中心、对角线为小鼠体宽的正方形框。经测试,改进后Strongsort算法的ID跳变数为14,MOTA为97.698%,IDF1为85.435%,MOTP为75.858%,与原Strongsort相比,ID跳变数减少88%,MOTA提升3.266个百分点,IDF1提升27.778个百分点,与Deepsort、ByteTrack和Ocsort相比,在MOTA和IDF1上均有显著提升,且ID跳变数大幅降低,结果表明改进Strongsort算法可以提高多目标无标记小鼠跟踪的稳定性和准确性,为小鼠社交行为分析提供了一种新的技术途径。     

基于双目相机与改进YOLOv3算法的果园行人检测与定位

针对复杂果园环境中行人难以精确检测并定位的问题,提出了一种双目相机结合改进YOLOv3目标检测算法的行人障碍物检测和定位方法。该方法采用ZED双目相机采集左右视图,通过视差原理获取图像像素点的距离信息;将双目相机一侧的RGB图像作为用树形特征融合模块改进的YOLOv3算法的输入,得到行人障碍物在图像中的位置信息,结合双目相机获得的像素位置信息计算出相对于相机的三维坐标。用卡耐基梅隆大学国家机器人工程中心开放的果园行人检测数据集测试改进的YOLOv3算法,结果表明,准确率和召回率分别达到95.34%和91.52%,高于原模型的94.86%和90.19%,检测速度达到30.26 f/ms。行人检测与定位试验表明,行人障碍物的定位在深度距离方向平均相对误差为1.65%,最大相对误差为3.80%。该方法具有快速性和准确性,可以较好地实现果园环境中的行人检测与定位,为无人驾驶农机的避障决策提供依据。     

农用轮式移动机器人视觉导航系统

从整体组成、农田环境中跟踪路径识别、机器人相对于跟踪路径位姿计算、系统实时性和鲁棒性改善、横向控制等几个方面对农用轮式移动机器人视觉导航系统进行了比较全面的研究。基于通用小型四轮拖拉机研制了农用轮式机器人实验原型样机，用人工绿篱模拟农作物行开展了初步实验，结果显示，原型样机在纵向速度为0．27m／s和0．94m／s时都能较好地跟踪绿篱边缘。     

基于输入模糊化的农用履带机器人自适应滑模控制

针对农用履带机器人控制系统易受到参数慑动和外部扰动影响的特点,将模糊理论与滑模控制结合起来,提出了基于模糊逻辑的自适应滑模控制,以提高控制精度与稳定性。首先,推演了履带机器人运动学模型,分析了模型的特点。其次,设计了一种含有积分项的滑模面,构建了基于等效控制和切换控制的模糊滑模自适应控制,既保留了滑模控制的快速性和鲁棒性,又很好地抑制了抖振。仿真与实验结果表明,与常规的滑模控制方法相比,该控制不仅对外部扰动及参数摄动具有较强的自适应性和鲁棒性,而且具有动态响应快、跟踪性能好的特点,适用于履带机器人控制系统。