基于激光雷达信息的履带式自动割草机障碍物检测

针对果园土壤生草制管理中所面临的割草任务重、劳动强度大等问题,设计一种基于二维激光雷达信息的履带式自动割草机障碍物检测方法。采用RPLIDAR A1进行障碍物扫描检测,由Matlab编程完成数据处理。将采集到的数据转换为直角坐标系下的x、y坐标,运用最小二乘滤波对数据进行去噪处理,采用k-means聚类算法对扫描数据进行聚类分析,得到障碍物的基本轮廓信息,最后经拟合得到较为密集的障碍物边缘离散点。试验结果中激光雷达扫描得到的角度和距离数据与现场实地测量数据之间最大误差为3.2%,达到了障碍物检测的目的,表明基于激光雷达信息的障碍物检测方法是合理可行的。     

基于图像像素点的前方车辆距离检测研究

为有效控制进而避免交通事故的发生,提出一种基于图像像素点检测前方车辆障碍物距离的方法。利用机器视觉检测到前方车辆可能存在的感兴趣区域,通过边缘特征确定前方车辆的位置,利用角点检测获取车辆在图像中的像素点位置,在对摄像机进行预先标定的基础上,通过透视投影的几何关系,计算出前方车辆距离的方法。     

基于双目视觉技术的猪生长监测系统标定模

针对养猪生产中对猪体生长监测的需求,设计了基于双目视觉的猪生长监测系统的软、硬件,实现了基于非线性摄像机模型双目视觉系统的标定算法.根据摄像机成像原理建立了基于最小二乘法的空间点坐标检测算法.利用标定和检测算法,从标定板图像数目、标定板位置、旋转角度3个方面对系统的标定模式进行了研究.结果表明:利用19幅以上标定板图像能够得到稳定的标定结果;不同位置的标定板图像对检测精度影响较大,应当在全视场内采集标定板图像;标定板的旋转角度对检测精度影响不明显,但是旋转角度增大不利于标定点的完全提取.     

基于立体视觉技术的多种农田障碍物检测方法

从摄像机标定、图像获取、双目校正、立体匹配、深度计算等方面研究多种农田障碍物检测方法,分别用Bouguet算法进行立体校正、用区域匹配方法获取视差图、用三角测量方法计算障碍物的深度,获取了不同环境下的5种障碍物及其位置信息,并使用计算机视觉函数库OpenCV,提高了算法的实时性。试验表明:障碍物与摄像机的距离小于2 000 mm时,准确识别率在96%以上,深度的绝对误差在±30 mm内(即相对误差在1.5%以下),且完成一次障碍物检测的时间小于100 ms。     

基于视觉显著度的射线图像微小缺陷提取方法

为实现射线图像复杂大背景下微小目标检测,研究强噪声、大灰度梯度下微小缺陷的分割方法。提出面向射线图像的视觉显著度模型,模拟人眼视觉注意机制,采用线扫描及自适应中央-周边差策略,以视觉显著度为尺度,通过特征图计算与融合、显著图获取等算法,从射线图像复杂背景中分割出注意区域;进一步通过显著度竞争标记排序各注意区域,并根据显著度阈值识别可疑缺陷区域,由此减少图像数据处理量,排除射线图像其他部分的干扰。提出以显著图上可疑区域的注意焦点为种子点,基于各点显著度的区域生长分割方法,实现了可疑区域图像中微小缺陷目标的准确提取。在复杂大背景X射线图像的实验中,准确提取出含有未知缺陷目标的区域,对微小目标的分割取得了较好效果,准确率达到96.1%,比传统方法高8%以上,证明了所提方法的有效性和适应性。     

基于单目摄像头的车辆前方障碍物的检测研究

针对车辆前方障碍物准确检测的需求,提出了一种基于单目摄像头的车辆前方障碍物的检测系统.通过单目摄像头对视频进行采集,获取单帧图像信息.通过在ROI区域内对道路上的障碍物进行检测,能够最大程度缩小检测范围,加快了运算效率.通过基于遗传算法的二维最大熵分割法分理出背景和障碍物,形态学算法去除其区域内的干扰物以及孤立点,最后...     

基于激光雷达的作物收获导航线实时提取方法研究

为提高联合收获机无人驾驶导航路径的精度,本文提出一种基于激光雷达的作物收获导航线实时提取方法。搭建点云数据采集系统,利用平面拟合法确定激光雷达安装高度和安装角度。利用三维激光雷达扫描收获机前方作物的点云数据,结合IMU惯性传感器反馈的姿态信息,实现作物点云数据从激光雷达坐标系到车体坐标系的变换。基于激光雷达扫描视场角、安装高度和安装角度获取感兴趣区域（ROI）的坐标,并对感兴趣区域进行直通滤波和统计滤波,去除灰尘、秸秆粉末等噪声的影响,以实现点云数据无效点和离群点的剔除。提出一种基于栅格八邻域高程差的作物收获导航线快速识别算法,以点云栅格化后在Z轴方向上的坐标值作为检测依据,定义某一栅格与其8个相邻栅格在Z轴坐标上的差值为高程差,遍历栅格并根据设定阈值进行比较判断,实现收获边界点的有效提取。采用最小二乘算法进行收获边界点的拟合,实现田间作业过程中作物收获导航线动态提取。田间试验表明,该方法具有较好的鲁棒性,能在作物稀缺、杂草较多等情况下保持较高的准确性,其中前进方向偏差角平均值为0.872°,割台横向偏差为0.104m,收获导航线准确率为93.5%,可为联合收获机工作提供辅助导航,提高无人驾驶的准确率。     

基于近红外图像的温室小型西瓜采摘信息获取技术

为实现温室立体栽培模式下小型西瓜的识别与空间定位,研究了基于近红外图像的西瓜采摘信息获取方法。测定、比较西瓜果实与茎、叶的光谱反射率,确定波长850 nm附近波段为区分西瓜与背景的最佳波段,在光强差异较大的两时段内采集了最佳波段下的西瓜近红外图像;通过Otsu算法滤除背景信息,利用"米"字型模板检测得到"浓缩西瓜"区域,实现西瓜果实识别;使用形心坐标计算公式获得采摘点坐标;根据西瓜果梗生长特性,利用分块定位算法获得切割点坐标信息。在温室环境下随机选择拍摄50幅有西瓜图像和20幅无西瓜图像进行识别算法验证,并对识别成功的有西瓜图像进行采摘点与切割点提取算法验证。结果表明,有西瓜图像识别成功率为86%,无西瓜图像为95%;采摘点、切割点定位准确度分别为93.0%、88.4%。     

基于视觉与激光雷达融合的棚内农业机器人定位和检测研究分析

【目的】探究视觉与激光雷达融合在棚内农业机器人中的应用,解决复杂环境下机器人自主导航的关键问题,提高机器人的感知能力和环境适应性。【方法】首先,采用高精度的视觉传感器捕捉棚内农业场景,通过图像处理技术提取关键特征,建立视觉地图以支持机器人的定位。同时,引入激光雷达传感器获取场景的三维点云数据,从而实现对环境深度和形状的准确感知。视觉与激光雷达信息的融合构建了综合感知系统,为机器人提供了更全面、可靠的定位信息。其次,针对棚内农业作业中常见的障碍物,设计了基于深度学习的障碍物检测算法。通过训练神经网络,机器人能够在实时环境中快速而准确地识别障碍物,并进行相应的避障决策。【结果】本研究提出的基于视觉与激光雷达融合的农业机器人定位和障碍物检测系统在不同棚内环境中表现出卓越的性能。【结论】机器人能够实现高精度的定位,并对障碍物做出及时准确的响应,为棚内农业的自动化精准作业奠定了坚实的技术基础。     

植株点云超体聚类分割方法

针对传统的超体聚类分割对植株存在过分割率高、实时性差的问题,提出一种融合显著性特征图的超体聚类分割方法。首先,采用Kinect V2实时获取目标植株的彩色图像和深度图像,将RGB彩色空间图像转换为CIELab彩色空间图像,计算每个像素的显著性特征值,获取彩色特征图,并融合亮度特征图和方向特征图构建显著性特征图;然后,将显著性特征图和深度图像同步对齐,获得显著性点云,八叉树网格初始化点云,并通过Mean-Shift算法获取满足概率密度阈值的网格点云,取最大概率密度点作为种子点,基于点对之间的欧氏距离和特征相似度作为区域生长相似性准则,生成超体素块;最后,通过LCCP算法对显著性点云进行聚类分割。实验结果表明,改进的显著性超体聚类分割方法可以大幅提高目标前景分割的准确性和快速性,有效克服背景噪声和离群点。     

基于双目相机与改进YOLOv3算法的果园行人检测与定位

针对复杂果园环境中行人难以精确检测并定位的问题,提出了一种双目相机结合改进YOLOv3目标检测算法的行人障碍物检测和定位方法。该方法采用ZED双目相机采集左右视图,通过视差原理获取图像像素点的距离信息;将双目相机一侧的RGB图像作为用树形特征融合模块改进的YOLOv3算法的输入,得到行人障碍物在图像中的位置信息,结合双目相机获得的像素位置信息计算出相对于相机的三维坐标。用卡耐基梅隆大学国家机器人工程中心开放的果园行人检测数据集测试改进的YOLOv3算法,结果表明,准确率和召回率分别达到95.34%和91.52%,高于原模型的94.86%和90.19%,检测速度达到30.26 f/ms。行人检测与定位试验表明,行人障碍物的定位在深度距离方向平均相对误差为1.65%,最大相对误差为3.80%。该方法具有快速性和准确性,可以较好地实现果园环境中的行人检测与定位,为无人驾驶农机的避障决策提供依据。     

基于残差网络和特征融合的小麦图像修复模型

针对基于生成对抗网络的多数图像修复算法所修复的图像纹理细节不清晰,不能充分融合神经网络提取的纹理细节信息和语义信息的问题,本文提出一种基于残差网络和特征融合的双阶段生成网络图像修复模型,通过修复训练集中被遮挡的图像,获取符合训练集整体分布的修复图像。首先,设计一种轻量型多尺度感受野残差模块,通过多个感受野不同的卷积核提取特征信息,提升粗化生成网络保留纹理信息的能力。其次构建一种双边精细修复网络结构,分别处理纹理细节信息和语义信息并进行聚合,实现图像的精细修复。最后基于GWHD数据集进行实验,验证本文算法的有效性。实验结果表明,本文模型较CE、GL、PEN-Net、CA算法,客观评价指标L1-loss降低0.56～3.79个百分点,PSNR和SSIM提升0.2～1.8 dB和0.02～0.08,并在人眼直观感受中实现了纹理结构清晰、语义特征合理的修复效果。相较于原GWHD数据集,在基于本文模型所扩充的小麦数据集中,运用YOLO v5s预测小麦麦穗的mAP提升1.41个百分点,准确率提升3.65个百分点,召回率提升0.36个百分点。     

基于D2-YOLO去模糊识别网络的果园障碍物检测

针对果园目标检测时相机抖动以及物体相对运动导致检测图像模糊的问题,本文提出一种将DeblurGAN-v2去模糊网络和YOLOv5s目标检测网络相融合的D2-YOLO一阶段去模糊识别深度网络,用于检测识别果园模糊场景图像中的障碍物。为了减少融合网络的参数量并提升检测速度,首先将YOLOv5s骨干网络中的标准卷积替换成深度可分离卷积,并且在输出预测端使用CIoU＿Loss进行边界框回归预测。融合网络使用改进的CSPDarknet作为骨干网络进行特征提取,将模糊图像恢复原始自然信息后,结合多尺度特征进行模型预测。为了验证本文方法的有效性,选取果园中7种常见的障碍物作为目标检测对象,在Pytorch深度学习框架上进行模型训练和测试。试验结果表明,本文提出的D2-YOLO去模糊识别网络准确率和召回率分别为91.33%和89.12%,与分步式DeblurGAN-v2+YOLOv5s相比提升1.36、2.7个百分点,与YOLOv5s相比分别提升9.54、9.99个百分点,能够满足果园机器人障碍物去模糊识别的准确性和实时性要求。     

基于全景视觉的智能农业车辆运动障碍目标检测

为了满足智能农业车辆安全正常作业,提出了基于全景视觉的运动障碍目标检测。与传统的单目和双目视觉相比,全景视觉具有360°无盲区检测的优点。首先系统使用多线程技术采集多目视觉图像,并用改进RANSAC-SIFT算法进行特征点提取与匹配,进而拼接全景视觉图像;其次采用改进的CLG光流法处理全景图像,检测运动障碍目标。试验表明：基于多线程技术和改进RANSAC-SIFT的全景拼接算法,与传统SIFT算法相比,平均提高特征点匹配准确度25.6%,加快运算速度25.0%;采用改进CLG光流法进行运动障碍检测,平均检测时间为1.55 s,检测成功率为95.0%。     

基于最小二乘法的温室番茄垄间视觉导航路径检测

针对温室非结构作业环境和复杂背景下作业机器人路径识别检测问题开展研究。在HSI颜色空间分析番茄垄间道路图像在各分量的分布特性,提出了基于机器视觉的垄间加热管敏感区域提取方法,依据I分量直方图采用最大类间方差法进行图像自适应阈值分割,对分割后二值图像利用目标区域的边缘提取算法获得导航离散点簇。根据最小二乘法原理对导航离散点簇拟合得到2条加热管边缘线,在此基础上给出中心导航基准线检测算法,并针对光照不均和作物遮挡对导航路径检测进行了实验。实验表明,与Hough变换算法相比,该算法简单快速,对光照不均具有良好的鲁棒性,能够准确提取目标敏感区域的边缘信息,对不同遮盖率番茄垄间导航路径提取正确率达91.67%。     

果园移动机器人激光雷达双源信息融合实时导航方法

为提高林果园移动机器人导航系统的精确性与鲁棒性,提出一种基于激光雷达三维点云的果园行间高低频双源信息融合实时导航方法。首先,喷雾机器人搭载三维激光雷达采集两侧果树点云信息,对原始点云数据进行直通滤波、降采样和统计滤波等预处理,保留感兴趣区域内果树冠层点云;然后,将分别基于高频更新的牛顿插值算法和低频更新的非线性支持向量机(Non-linear support vector machine, NSVM)算法拟合的行间导航线进行互补融合;最后,在导航线切换时,对融合后导航线的稳定性进行优化,并使用三次B样条算法使导航线平滑。实验结果表明：融合优化后的导航线最大曲率为0.048 m^-1,平均曲率为0.018 m^-1;分别以0.5 m/s和1.0 m/s的行驶速度对融合优化后的导航线进行跟踪,绝对横向偏差最大值分别为0.104 m和0.130 m,平均值分别为0.053 m和0.049 m,说明该导航方法能够满足作业装备在果园行间自主导航作业的需求,为喷雾机器人在果园环境中的自主导航提供技术参考。     

基于激光雷达的巡检机器人导航系统研究

智能巡检机器人能够高效、可靠地完成巡检任务,降低工作人员的劳动强度,准确、稳定的导航定位是巡检机器人执行巡检任务的基础。本文研究了基于激光雷达的巡检机器人导航系统,可实现机器人在室内外环境下的地图建立、路径规划和导航定位。导航系统由远程监控平台与巡检机器人组成,远程监控平台发布巡检任务、监控机器人状态、查询与存储检测数据,巡检机器人可实现自主导航定位、遍历检测点、执行数据采集等巡检任务,二者通过无线网络实现远程数据交互。融合激光雷达与编码器信息,使用高鲁棒性Gmapping算法建立二维环境地图。根据地图与检测点信息,采用分支界定算法搜索最优巡检路线,以减少巡检时间和能源消耗。使用自适应蒙特卡罗定位(AMCL)算法估计机器人位置和姿态,结合巡检路线,进行导航定位。根据横向偏差与航向偏差,通过经典的PID算法完成机器人驱动控制。机器人搭载可见光相机与红外相机,可对目标进行可见光通道与红外通道的融合图像检测。对巡检机器人进行了室内导航定位试验,试验结果表明,在1 m/s的速度下,位置与航向偏差的平均绝对误差(MAE)分别小于5 cm和1.1°,标准差(SD)分别小于5 cm和1.5°,能够满足巡检导航定位的要求。     

基于RGB-D相机的单株玉米株高测量方法

玉米株高是反映作物长势的重要指标。为了实现田间单株玉米株高的快速测量,提出了一种基于RGB-Depth（RGB-D）相机的玉米株高测量方法。以拔节期玉米为观测对象,首先利用RGB-D相机获取田间玉米的彩色图像和深度图像。对玉米彩色图像进行灰度化、二值化和去噪处理,提取出包含待测玉米的二值图像。利用改进的分水岭分割算法对玉米的灰度图像进行分割,对分割结果进行圆形拟合操作,定位玉米的中心区域。对玉米的二值图像进行骨架化处理,检测骨架的交叉点和末端点,确定玉米骨架的中心点,并检索其到末端点的最短路径。对各条路径的点云数据进行求差与比较,确定玉米的最高点,并对最高点附近的点云数据进行直方图统计,获得地面点。最后,通过计算玉米最高点和地面点的差值,实现单株玉米株高参数的测量。对玉米样本进行测试试验的结果表明：单株玉米株高的平均测量误差为1.62cm,均方根误差（RMSE）为1.86cm,测量精度满足实用要求。     

基于双目视觉的作物苗期障碍物三维信息检测方法

农业智能装备在实际农田环境中行进或作业的过程中需要感知多变环境下的各种障碍物。为此,基于双目视觉,开展了作物苗期农田障碍物三维信息检测方法研究,提出了一种基于特征的障碍物检测算法。首先,利用边缘检测算法去除天空背景,提取出障碍物潜在区域的上边界线,利用超绿特征颜色变换去除绿色作物苗期农田背景,提取下边界线;然后,通过阈值分割算法提取障碍物目标区域;最后,通过重心特征点立体匹配来获取视差值,结合MatLab标定获取的相机内外参数进行三维重建,计算障碍物的距离、宽度和高度三维信息。田间试验结果表明:该算法可以正确提取出障碍物目标区域,障碍物距离、宽度和高度检测的平均相对误差分别为4.7%、5.79%和1.78%,能够满足农业智能装备田间障碍物检测的需求,具有较好的可靠性。     

基于多元图像分析的包装罐内壁缺陷检

为提高包装罐生产线内壁缺陷检测准确性与可靠性,研究了一种采用单摄像机的内壁缺陷检测系统.利用基于形态学的区域提取算法,从罐内图像中分割出内壁检测区域图像.提出基于多元图像分析(MIA)的内壁缺陷检测算法.利用图像融合构成环形合格样本图像,消除罐内焊缝区域的影响,把多个环形合格样本图像与测试样本内壁检测区域图像堆叠起来,用重合区域的图像构造多元测试图像.用基于主成分分析(PCA)的多元图像处理方法获得多元测试图像的主分量表示,将去掉第一主分量和噪声后的Q统计图像作为内壁缺陷特征的检测空间,利用阈值处理检测缺陷,解决了罐体内壁照明困难、亮度不均造成缺陷误检率高的问题,提高了检测系统的准确性和鲁棒性.实验表明对内壁缺陷检测的误检率降低到2%,验证了检测系统的有效性和可靠性.