基于混合蛙跳优化的采摘机器人相机标定方法

针对采摘机器人领域传统的张正友相机标定方法存在对相机模型参数初值敏感和标定结果不稳定等问题,提出一种基于改进混合蛙跳和LM算法的相机标定方法。该方法把相机标定划分为两步:(1)以混合蛙跳优化为工具,求出相机模型参数的初始值,避免传统张正友相机标定方法直接求取相机模型的参数初值所带来的初值敏感问题。(2)以改进LM算法对第1步求出的相机模型参数初值进行非线性优化求精,避免张正友相机标定方法须求取相机模型优化参数的雅可比矩阵,从而导致标定结果不稳定的问题。采用Open CV编写采摘机器人双目视觉标定系统,分别对传统张正友相机标定方法、基于遗传算法的相机标定方法、基于标准混合蛙跳算法的相机标定方法和本文相机标定方法进行相机标定试验。试验结果表明:本文相机标定方法所获得的左相机焦距的绝对误差为0. 065～0. 506 mm、相对误差为1. 899%～12. 652%,平面靶标图像特征点的平均像素误差为0. 166～0. 175像素;右相机焦距的绝对误差为0. 083～0. 360 mm、相对误差为2. 429%～11. 484%,平面靶标图像特征点的平均像素误差为0. 103～0. 114像素;双目相机之间距离的绝对误差为1. 866～2. 789 mm、相对误差为3. 209%～4. 874%。以上参数精度及收敛速度和稳定性均优于其他相机标定方法,从而验证了该方法所获得的相机标定参数具有较高的准确性和可靠性。     

可变阶数NURBS曲面的相机标定模型

农用机器人对作业对象的定位、测量和识别等都需要借助视觉系统(相机)来完成,因此相机标定精度至关重要。提出一种可变阶数NURBS曲面的相机标定模型,即在像平面的高失真区域应用较高阶数的NURBS曲面模型作为标定依据,其他区域用较低阶数的NURBS曲面模型,在不过多增加标定计算负担的前提下,提高了整体的标定精度。该模型应用标定误差的预评估方法将像平面进行"区块"划分,依此匹配模型阶数,实现标定精度和计算量的综合优化。由于NURBS曲面隐式标定模型的优越性能,使标定不依赖于相机的光学特性,理论上可校正相机的所有失真。实验结果表明,标定平均误差在0.89 mm以内,可满足农用机器人的应用要求。     

移动机器人在变电站设备巡检系统中的应用研究

利用智能移动机器人完成电站设备巡检,以期提高变电站设备运行的安全可靠性,推进变电站无人值守进程.分析目前我国变电站设备的两种主要巡检方式的不足,介绍变电站设备巡检机器人系统的总体结构,并给出主要功能模块的实现方法.该系统具有远程红外监测与诊断、远程图像监控与诊断、远程防盗报警诊断3种功能,可以使机器人系统的非接触式移动检测与变电站综合自动化的接触式监控相结合,真正实现变电站设备全监控.根据操作人员在基站的任务操作,可以自主完成变电站设备的巡检工作.通过3G无线网络,利用红外远程监控系统实时将相关数据传送至远端管理人员,完成对变电站运行状况的实时监控和调度指挥.     

木板抓取机器人手眼标定方法

针对视觉抓取木板机器人的Eye-in-Hand视觉与机器人本体之间关联的手眼标定问题,提出了基于标定方程的求解优化。首先通过机器人带动相机以多个不同位姿观测标定板,得到多个标定方程,采集一次数据建立一个标定方程,再对所有标定方程运用Kronecker product算法和最小二乘法求解。为避免误差传递,将得到的解作为优化初始值,建立雅可比矩阵、误差函数,并采用Levenberg-Marquardt算法对初始值优化,得到精确解。在ROS系统中搭建仿真试验平台,通过3D可视化工具Rviz验证了标定结果的有效性。标定结果的精度分析表明,相同采集图像数量、不同噪声水平下,本文标定方法位置解精度比传统标定方法平均提高了30%;同一噪声水平、不同采集图像数量下,本文标定方法位置解精度比传统标定方法平均提高了31.1%。木板抓取试验结果表明,视觉系统抓取定位精度比传统标定方法平均提高了39.2%,抓取成功率为96.2%。     

一种相机标定板姿态变换装置设计

为提高相机参数的标定效率,设计出一种相机标定板的姿态变换装置。该装置将标定板固定,利用标定相机拍摄不同姿态下的标定板图像,通过伺服电机、气泵和定位杆定量地改变标定板在三维空间中的姿态,获得不同姿态下标定板照片的空间参数,减少科研人员的操作和图像外部干扰,提高相机标定效率。操作表明:该装置具有结构简单、易操作的特点,可以快速获取不同位姿的图像,为机器视觉科研人员提供帮助。     

对汽车发动机机械故障非接触式检测技术的几点探讨

汽车发动机机械故障是一项十分复杂的技术,采用传统的检测技术,具有很大的不确定性与随意性,通过采用非接触式检测技术,能够快速精准的对发动机机械故障进行定位,提高了故障的检测效率,本文通过对非接触式检测技术在发动机故障检测中的应用程序进行分析,指出了非接触式检测技术在汽车发动机机械故障检测中的优势。     

基于双目视觉的作物苗期障碍物三维信息检测方法

农业智能装备在实际农田环境中行进或作业的过程中需要感知多变环境下的各种障碍物。为此,基于双目视觉,开展了作物苗期农田障碍物三维信息检测方法研究,提出了一种基于特征的障碍物检测算法。首先,利用边缘检测算法去除天空背景,提取出障碍物潜在区域的上边界线,利用超绿特征颜色变换去除绿色作物苗期农田背景,提取下边界线;然后,通过阈值分割算法提取障碍物目标区域;最后,通过重心特征点立体匹配来获取视差值,结合MatLab标定获取的相机内外参数进行三维重建,计算障碍物的距离、宽度和高度三维信息。田间试验结果表明:该算法可以正确提取出障碍物目标区域,障碍物距离、宽度和高度检测的平均相对误差分别为4.7%、5.79%和1.78%,能够满足农业智能装备田间障碍物检测的需求,具有较好的可靠性。     

基于Cow-DETR与深度图像的非接触式奶牛体质量评估

针对当前牧场奶牛体质量（体重）称量效率低,人工参与容易引发奶牛应激等问题,提出了一种基于改进DETR（Detection transformer）网络的端到端式奶牛体质量评估方法（Cow-DETR）,实现利用奶牛背部深度图像进行非接触式奶牛体质量评估。首先设计并搭建实验数据采集装置,利用Intel RealSense D435深度相机和体重秤采集奶牛背部深度图像和体质量数据;然后,通过边缘平滑滤波器和孔洞填充滤波器对深度图像进行补全处理,减少深度数据缺失对体质量评估的影响;最后,以DETR网络为基础建立奶牛体质量评估模型,通过在预测模块中添加含有交替全连接层的体质量预测单元,提升奶牛体质量相关的特征信息提取能力,实现端到端式奶牛背部定位的同时进行奶牛体质量非接触式评估。结果表明,本文方法可以实现较高精度的奶牛体质量评估,通过5倍交叉验证,在含有139头奶牛数据的数据集中,平均绝对误差不超过17.21kg,平均相对误差不超过3.71%,单幅图像平均识别时间为0.026s。通过与现有体质量评估方法相对比,本文方法比其他6种方法在更多的奶牛头数的数据集中取得了更低的平均绝对误差和平均相对误差,同时本文方法对奶牛站立姿势要求较低,更符合牧场实际生产需要,为奶牛体质量评估提供了新的解决思路。     

番茄非接触式单果质量估测方法

针对目前非离株番茄果实的非接触式单果质量快速估测困难等问题,提出了一种基于局部点云和卷积神经网络的番茄单果质量估测方法。以浙粉702番茄为试验对象,首先通过深度相机采集50个番茄单果的336块原始点云,并增强至1 344块点云用于构建数据集。通过多种点云分割方法比较,选取三维连续卷积神经网络用于番茄单果分割。于分割后的数据提取点云沿x轴轴向尺寸dx、沿y轴轴向尺寸dy、沿z轴轴向尺寸dz和沿z轴投影最小外接圆直径d共4个空间特征信息,并将其馈送到3层回归网络中,用于训练、确定优化器和学习率达到最优状况下的单果质量估测模型。最后,选取268块增强点云对构建的数学模型进行测试,并进行模型准确性和稳定性评估分析。结果表明,与番茄单果实际质量相比,平均偏差3.7～4.8 g,平均相对误差约3.04%,优于传统图像处理方法。该研究可为其他农畜产品的非接触式单果质量估测提供技术参考。      

汽车发动机机械故障非接触式检测技术分析

主要针对传统检测技术的误差率高、主观性强、效率低问题,提出非接触检测技术。研究过程中,以非接触式检测技术为切入点,分析汽车发动机机械故障,并以四冲程汽车发动机为例,研究发动机机械故障检测中非接触式技术操作流程及结果分析。     

基于精密工件光学检测的应用研究

将结构光技术应用于距离检测和平面度检测。通过相机标定、结构光标定等前期准备和后期FPFH图像特征提取,采用最小二乘法、SVD分解分别进行线性拟合和理想平面拟合;利用MATLAB软件绘制图像,从而完成距离检测和平面度检测。     

基于单目SLAM的实时场景三维重建

针对单目SLAM(实时定位与重建)三维重建点云精度与运动实时性成负相关的问题,提出了一种基于单目视觉里程计融合激光传感器的方法,实现运动物体周边环境的实时点云自动配准与场景三维重建,在保证实时性的情况下获得更为精确的点云数据。针对图像传感器和激光传感器返回数据的特点,提出一种相机与激光传感器空间相对姿态的标定方法。针对单目视觉里程计的尺度模糊问题,提出了一种基于激光传感器的离线尺度标定算法,从而实现了里程计的位姿信息与激光传感器数据的匹配,达到实时点云自动配准的效果。     

土壤钾离子非接触电导检测装置设计与试验

为确保土壤钾离子检测的时效性和准确性,设计了非接触电导检测装置。首先,设计与毛细管配套的非接触式电导检测池,以金属圆筒结合导电银胶构建激励电极、屏蔽电极和接收电极。其次,构建非接触式电导检测器,包括激励信号发生电路、前置放大电路及检波放大电路,搭建了一个板级的激励信号发生电路,该电路采用考毕兹振荡器电路匹配高频变压器的方案。前置放大电路采用跨阻放大拓扑,检波放大电路将前置放大电路输出的毫伏级交流电压信号,通过整流、调零、程控放大,得到一个固定范围的直流电压,用于上位机采集。通过电导率的变化波形可以分析出土壤溶液中的钾离子含量。最后,采用设计的非接触式电导检测装置对6种标准土样的钾离子含量进行初步检测分析。结果表明,6种土壤样品的钾离子含量测试结果与标准值的趋势一致,说明此套非接触式电导检测装置能够完成土壤样品的初步检测,并与标准值存在相关关系。     

基于毫米波雷达的生命体征检测

针对接触式生命体征测量工具的局限性,提出了基于毫米波雷达的非接触式生命体征检测方法.通过对混频得到的拍频信号进行距离维傅里叶变换,确定了被测目标所在的距离单元;提取被测目标所在距离单元的相位信息,对相位信号进行差分处理,去除了由于硬件条件导致的相位基线漂移;采用IIR数字滤波器实现呼吸、心跳信号的分离,通过快速傅里叶变...     

基于双目视觉技术的猪生长监测系统标定模

针对养猪生产中对猪体生长监测的需求,设计了基于双目视觉的猪生长监测系统的软、硬件,实现了基于非线性摄像机模型双目视觉系统的标定算法.根据摄像机成像原理建立了基于最小二乘法的空间点坐标检测算法.利用标定和检测算法,从标定板图像数目、标定板位置、旋转角度3个方面对系统的标定模式进行了研究.结果表明:利用19幅以上标定板图像能够得到稳定的标定结果;不同位置的标定板图像对检测精度影响较大,应当在全视场内采集标定板图像;标定板的旋转角度对检测精度影响不明显,但是旋转角度增大不利于标定点的完全提取.     

基于深度学习的复杂自然环境下桑树枝干识别方法

在复杂自然环境下完成桑树枝干识别是实现桑叶采摘机智能化的关键部分，针对实际应用中光照条件变化多、桑叶遮挡和桑树分枝多等问题，提出一种基于深度学习的复杂自然环境下桑树枝干识别方法。首先，采用旋转、镜像翻转、色彩增强和同态滤波的图像处理方法扩展数据集，以提高模型的鲁棒性，通过Resnet50目标检测网络模型以及相机标定获得照片中所需的桑树枝干坐标，通过试验发现当学习率设置为0.001，迭代次数设置为600时模型的识别效果最优。该方法对于复杂自然环境中的不同光照条件具有良好的适应性，能够对存在多条分支以及被桑叶遮挡的桑树枝干进行识别并获取坐标信息，识别准确率达到87.42%，可以满足实际工作需求。     

基于图像处理的果树滴水线导航路径检测方法研究

针对果园开沟施肥,提出一种基于图像处理的果树滴水线导航路径检测方法。该方法采用垂直地面向上布置的CCD相机采集果树冠层投影图像,并实现果树冠层沿地面垂直投影轮廓的识别与滴水线平滑处理,进而对无人施肥装备沿果树环状行走路径进行确定。通过相机标定获取相机内部参数和畸变参数,对原始图像进行畸变矫正;通过对图像在RGB颜色空间的分布特征进行定量分析,使用平均值法对图像灰度处理,使用定阈值法进行二值分割;二值图像中由于存在大量的空间间隙,使用形态学膨胀操作,填充间隙,以凸显树冠投影边缘轮廓;使用边界跟踪算法,提取树冠轮廓边缘;引入Beseel曲线拟合方法,对轮廓边缘进行平滑处理,通过对比二阶、三阶、四阶、五阶拟合结果,得出使用三阶和四阶Beseel拟合结果较为符合导航路径要求。将相机固定在一个位置,分别在晴天和阴天拍摄条件下采集图像,进行滴水线导航路径提取,分别使用三阶和四阶Beseel曲线拟合晴天和阴天的图像边缘轮廓,使用四阶拟合结果较为符合实际要求,平均像素误差为19.5像素,平均像素相对误差为2.6%,平均每帧图像处理速度为27 ms,能较好地满足导航精度和实时性的要求,为施肥作业平台沿滴水线自动导航提供参考。     

基于改进DeepSORT的群养生猪行为识别与跟踪方法

为改善猪只重叠与遮挡造成的猪只身份编号（Identity,ID）频繁跳变,在YOLO v5s检测算法基础上,提出了改进DeepSORT行为跟踪算法。该算法改进包括两方面：一针对特定场景下猪只数量稳定的特点,改进跟踪算法的轨迹生成与匹配过程,降低ID切换次数,提升跟踪稳定性;二将YOLO v5s检测算法中的行为类别信息引入跟踪算法中,在跟踪中实现准确的猪只行为识别。实验结果表明,在目标检测方面,YOLO v5s的mAP为99.3%,F1值为98.7%。在重识别方面,实验的Top-1准确率达到99.88%。在跟踪方面,改进DeepSORT算法的MOTA为91.9%,IDF1为89.2%,IDS为33;与DeepSORT算法对比,MOTA和IDF1分别提升了1.0、16.9个百分点,IDS下降了83.8%。改进DeepSORT算法在群养环境下能够实现稳定ID的猪只行为跟踪,能够为无接触式的生猪自动监测提供技术支持。     

多目标肉牛进食行为识别方法研究

基于计算机视觉技术，借助已有系统获得肉牛进食行为数据，并与体重变化、健康状况等进行关联分析，对肉牛科学养殖具有重要意义。为此提出了一种基于机器视觉的肉牛进食行为识别方法。该方法采用YOLOv3模型对观测范围内的肉牛目标进行检测，利用卷积神经网络识别单个目标的进食行为，进而实现对多目标肉牛进食行为的识别。卷积操作时，利用填充（padding）增强网络对目标边缘特征的提取能力；使用修正线性单元（ReLU）为激活函数，防止梯度消失；采用丢弃（dropout）方法提高网络的泛化能力。获取实际肉牛养殖场的监控视频，构建数据集，分别在8组测试集上进行试验，本文方法对观测范围内肉牛目标检测的平均精确度为83.8%，进食行为识别的平均精确度为79.7%、平均召回率为73.0%、平均准确率为74.3%，能够满足肉牛进食行为的监测需求。基于YOLOv3模型和卷积神经网络的多目标肉牛进食行为识别方法具有较高的准确性，为肉牛行为非接触式监测提供了新的途径。     

自然环境下柑橘采摘机器人识别定位系统研究

为了准确理解柑橘采摘机器人在自然环境下的作业场景,获取采摘目标及周围障碍物的位置信息,构建了基于卷积神经网络和Kinect V2相机的识别定位系统。首先,对采摘场景中的果树提出5类目标物分类准则,包含1类可采摘果实和4类障碍物目标;然后,在YOLO V3（You only look once）卷积层模块中添加3层最大池化层,对预测候选框进行K-means聚类分析,增强模型对枝叶类物体特征的提取能力,实现采摘场景的准确理解;最后,采用Kinect V2相机的深度图映射得到采摘目标和障碍物的三维信息,并在自然环境下进行了避障采摘作业。实验结果表明,构建的识别定位系统对障碍物和可采摘果实的识别综合评价指数分别为83.6%和91.9%,定位误差为5.9mm,单帧图像的处理时间为0.4s,采摘成功率和避障成功率分别达到80.51%和75.79%。