基于三维激光雷达与优化DBSCAN算法的果树定位方法

为提高果园喷雾机器人在果园行间行走的自主性和安全性,提出一种基于三维激光雷达与优化DBSCAN算法的果树定位方法。首先,采用三维激光雷达获取果园的环境信息,通过感兴趣区域提取、地面点云分割和体素滤波降采样对原始点云数据进行预处理;然后,对DBSCAN算法进行优化,构建KD树索引有序化实时点云数据,并使用KD树最近邻搜索替代传统DBSCAN算法的遍历搜索方式,最后根据数据点到激光雷达的距离自适应确定聚类密度阈值,实现行间不同距离的果树检测;最后,以果树聚类结果的冠层边缘点为果树的定位参考点,得到果树定位参考点的坐标,计算果园喷雾机器人与果树的相对位置。试验结果表明：优化的DBSCAN算法相较于传统DBSCAN算法检测的准确性和实时性均有明显提升,果树的横向定位平均误差为2.6%,纵向定位平均误差为1.6%。该方法能够满足果园喷雾机器人在行间果树定位的准确性和实时性要求,为精准农业装备在林果园环境下的自主导航和作业提供有效参考。     

基于VINS-MONO和改进YOLO v4-Tiny的果园自主寻筐方法

面向果园运输车果品采收自主运输作业场景，提出了一种基于VINS-MONO和改进YOLO v4-Tiny的果园自主寻筐方法。首先基于VINS-MONO视觉惯性里程计算法，进行果园运输车位置姿态的实时估计。然后基于改进YOLO v4-Tiny目标检测算法，根据图像数据进行果筐实时目标检测并获取对应深度信息。其次根据运输车当前位置姿态、果筐深度信息以及深度相机内参，进行被识别果筐位置更新。最后基于三次B样条曲线拟合原理，以被识别果筐位置为控制点，进行寻筐路径实时拟合，为果园运输车抵近果筐提供路线引导。试验结果表明：改进YOLO v4-Tiny果筐识别模型的平均识别精度为93.96%,平均推理时间为14.7 ms, 4 m内的果筐距离定位误差小于4.02%,果筐角度定位误差小于3°,果园运输车实测平均行驶速度为3.3 km/h,果筐搜寻路线平均更新时间为0.092 s,能够在果树行间和果园道路两种作业环境下稳定实现自主寻筐。该方法能够为果园运输车提供自主寻筐路径引导，为其视觉导航提供研究参考。     

嵌入式设备的轻量化百香果检测模型

为在有限的嵌入式设备资源下达到实时检测要求,提出一种基于改进YOLO v5的百香果轻量化检测模型（MbECA-v5）。首先,使用MobileNetV3替换主干特征提取网络,利用深度可分离卷积代替传统卷积减少模型的参数量。其次,嵌入有效通道注意力网络（ECANet）关注百香果整体,引入逐点卷积连接特征提取网络和特征融合网络,提高网络对百香果图像的特征提取能力和拟合能力。最后,运用跨域与域内多轮训练相结合的迁移学习策略提高网络检测精度。试验结果表明,改进后模型的精确率和召回率为95.3%和88.1%;平均精度均值为88.3%,较改进前提高0.2个百分点。模型计算量为6.6 GFLOPs,体积仅为6.41MB,约为改进前模型的1/2,在嵌入式设备实时检测速度为10.92f/s,约为SSD、Faster RCNN、YOLO v5s模型的14倍、39倍、1.7倍。因此,基于改进YOLO v5的轻量化模型提高了检测精度和大幅降低了计算量和模型体积,在嵌入式设备上能够高效实时地对复杂果园环境中的百香果进行检测。     

基于改进DeepLab V3+的果园场景多类别分割方法

果园环境实时检测是保证果园喷雾机器人精准作业的重要前提。本文提出了一种基于改进DeepLab V3+语义分割模型的果园场景多类别分割方法。为了在果园喷雾机器人上部署,使用轻量化MobileNet V2网络替代原有的Xception网络以减少网络参数,并在空洞空间金字塔池化（Atrous spatial pyramid pooling,ASPP）模块中运用ReLU6激活函数减少部署在移动设备的精度损失,此外结合混合扩张卷积（Hybrid dilated convolution,HDC）,以混合扩张卷积替代原有网络中的空洞卷积,将ASPP中的扩张率设为互质以减少空洞卷积的网格效应。使用视觉传感器采集果园场景RGB图像,选取果树、人、天空等8类常见的目标制作了数据集,并在该数据集上基于Pytorch对改进前后的DeepLab V3+进行训练、验证和测试。结果表明,改进后DeepLab V3+模型的平均像素精度、平均交并比分别达到62.81%和56.64%,比改进前分别提升5.52、8.75个百分点。模型参数量较改进前压缩88.67%,单幅图像分割时间为0.08s,与原模型相比减少0.09s。尤其是对树的分割精度达到95.61%,比改进前提高1.31个百分点。该方法可为喷雾机器人精准施药和安全作业提供有效决策,具有实用性。     

基于改进YOLACT++的成熟芦笋检测-判别-定位方法

为解决芦笋采收机器人选择性采收过程中成熟芦笋的判别和采摘手准确定位难题，提出了一种改进YOLACT++(You only look at coefficients)算法，利用该方法对成熟芦笋进行检测判别并定位采收切割。通过引入CBAM(Convolutional block attention module)注意力机制以及SPP(Spatial pyramid pooling)结构改进传统的YOLACT++主干网络，提高了特征提取的有效性；设计了适用于芦笋目标检测的锚框长宽比以保证覆盖到不同姿态的芦笋，以提高网络检测速度和准确率。利用生成的芦笋掩膜分段计算芦笋长度和基部直径，来判定成熟芦笋，并通过空间位姿向量计算成熟芦笋基部区域切割点位置。采收机器人田间试验结果表明，经过训练的改进YOLACT++模型的检测准确率为95.22%,掩膜平均准确率为95.60%,640像素×480像素图像检测耗时53.65 ms,成熟芦笋判别准确率为95.24%,在X、Y、Z方向的切割点定位误差小于2.89 mm,滚转角和俯仰角误差最大为7.17°;与Mask R-CNN、SOLO和YOLACT++模型相比...     

基于人体姿态估计与场景交互的果园喷施行为检测方法

果园农药施用情况是果品质量安全的重要检验标准，农药喷施行为的可靠记录是果品溯源体系的重要环节。针对我国目前常见的果品种植专业合作社中难以确切掌握农药施用真实情况的问题，本研究提出了一种基于人体姿态估计与场景交互的果园背负式喷施行为检测方法。首先采用微调后的YOLO v5模型完成背负式喷雾器与果树目标的精确检测，提取场景交互特征；之后采用OpenPose模型识别喷施人员姿态及动作信息，提取人体姿态特征；最后对上述特征分别进行距离和角度计算，将其融合为11 244组特征向量并使用优化后的支持向量机(Support vector machine, SVM)进行训练，完成果园喷施行为的准确检测。为了验证算法的有效性，对包含不同光照、不同距离、不同人数和不同遮挡程度等的92段视频进行了测试。试验结果表明，该算法的准确度为85.66%,平均绝对误差为42.53%,均方根误差为44.59%,预测标准偏差为44.34%,以及性能偏差比为1.56。同时，本研究对不同光照、遮挡、距离变化和多人中单人喷施情况下的果园喷施行为识别的有效性进行了分析。试验结果表明，将该模型用于果园喷施行为的检测是可行的，本研究...     

大坡度山地果园双向全方位农药喷洒机设计与试验

传统农药喷洒机在大坡度山地作业时会大幅降低效率,因此针对大坡度山地果园研发了一款双向全方位农药喷洒机,并进行了试验验证。结果表明:当农药喷洒机具行进速度为1m/s、送风强度为8m/s、喷头与树冠层间距为0.5m时,竖直喷药模式的施药效果较好。按照相同条件下,对45°倾斜式喷药模式与竖直喷药模式的喷药效果进行试验比较,结果表明:当果树树冠层雾滴覆盖率为78.8%与82.6%时,农药沉积密度为107滴/cm^2与110滴/cm^2;冠层底部雾滴覆盖率为30.7%与16.2%时,农药沉积密度为65滴/cm^2与36滴/cm^2,冠层各部分农药覆盖率皆符合喷药标准,双向全自动农药喷洒机能够满足作业要求,可以对病虫进行有效防治。     

基于改进YOLO v7轻量化模型的自然果园环境下苹果识别方法

针对自然果园环境下苹果果实识别中,传统的目标检测算法往往很难在检测模型的检测精度、速度和轻量化方面实现平衡,提出了一种基于改进YOLO v7的轻量化苹果检测模型。首先,引入部分卷积（Partial convolution,PConv）替换多分支堆叠模块中的部分常规卷积进行轻量化改进,以降低模型的参数量和计算量;其次,添加轻量化的高效通道注意力（Efficient channel attention,ECA）模块以提高网络的特征提取能力,改善复杂环境下遮挡目标的错检漏检问题;在模型训练过程中采用基于麻雀搜索算法（Sparrow search algorithm,SSA）的学习率优化策略来进一步提高模型的检测精度。试验结果显示：相比于YOLO v7原始模型,改进后模型的精确率、召回率和平均精度分别提高4.15、0.38、1.39个百分点,其参数量和计算量分别降低22.93%和27.41%,在GPU和CPU上检测单幅图像的平均用时分别减少0.003s和0.014s。结果表明,改进后的模型可以实时准确地识别复杂果园环境中的苹果,模型参数量和计算量较小,适合部署于苹果采摘机器人的嵌入式设备上,为实现苹果的无人化智能采摘奠定了基础。     

果园对靶喷药控制系统的设计及试验

针对目前果园喷药作业现状,设计了果园对靶喷药控制系统。该系统根据霍尔(测速)传感器实时检测拖拉的行驶速度,采用红外传感器列阵探测果树树冠,根据靶标检测信息和行驶速度来控制电磁阀的频率与占空比,从而调节喷头流量,实现了基于果树树冠检测的对靶变量施药。室外对靶施药试验结果显示:在传感器探测范围内,果树靶标识别率100%,喷药覆盖率100%;当拖拉机速率不超过1.16m/s时,对于同一靶标区域,速度几乎不影响靶标的检测宽度;同等条件下,速度越大,喷药宽度的相对误差越小。     

基于双目相机与改进YOLOv3算法的果园行人检测与定位

针对复杂果园环境中行人难以精确检测并定位的问题,提出了一种双目相机结合改进YOLOv3目标检测算法的行人障碍物检测和定位方法。该方法采用ZED双目相机采集左右视图,通过视差原理获取图像像素点的距离信息;将双目相机一侧的RGB图像作为用树形特征融合模块改进的YOLOv3算法的输入,得到行人障碍物在图像中的位置信息,结合双目相机获得的像素位置信息计算出相对于相机的三维坐标。用卡耐基梅隆大学国家机器人工程中心开放的果园行人检测数据集测试改进的YOLOv3算法,结果表明,准确率和召回率分别达到95.34%和91.52%,高于原模型的94.86%和90.19%,检测速度达到30.26 f/ms。行人检测与定位试验表明,行人障碍物的定位在深度距离方向平均相对误差为1.65%,最大相对误差为3.80%。该方法具有快速性和准确性,可以较好地实现果园环境中的行人检测与定位,为无人驾驶农机的避障决策提供依据。     

基于移动激光扫描的靶标叶面积计算方法

针对疏枝果园的变量对靶施药问题,提出基于移动激光扫描(Mobile laser scanning,MLS)技术的靶标叶面积计算方法,为变量施药实时提供基础数据。为消除激光雷达(Light detection and ranging,LiDAR)探测距离和施药车辆行驶速度对点云密度的影响,在车辆行驶方向和激光雷达扫描方向上计算每个测量点的分辨率,为MLS点云数据建立变尺度格网,以格网面积作为被激光束覆盖的叶面积,建立靶标总体格网面积(Total grid area,TGA)与真实总体叶面积(Total leaf area,TLA)的线性回归模型。采用仿真树模拟疏枝果树靶标,搭建移动激光扫描测量系统,采集靶标点云数据,改变探测距离及移动速度,获取了4种不同疏枝程度靶标的108个样本数据。试验结果表明,随着探测距离的增加和移动速度的降低,靶标点云数显著减少,变异系数最小为0. 920 9,靶标格网面积能稳定提取,变异系数最大为0. 053 7,TGA与TLA的拟合优度为0. 909 0,叶面积测量相对误差均值为9. 16%。     

果园自动变距精准施药系统设计与试验

针对我国北方果园施药设备自动化程度不高、农药利用率低、适应性差等问题,设计了基于冠层体积估算的果园自动变距精准施药系统。施药系统的喷施臂在控制系统的控制下可以在水平和垂直方向调整喷雾距离和喷施高度,以适应不同果园的果树特征。为实现精准喷施,利用红外测距传感器组成了传感器阵列,通过该阵列探测冠层,将测得的数据用数学方法构建了冠层体积估算模型,并设计了喷雾参数调整方案,使得喷雾距离与喷雾量可进行相应调整。为验证施药系统的性能,测试了喷施臂在接收到移动指令时的响应时间与运动实际耗时以及冠层体积估算模型的准确率,并选用仿真桃树进行了定距和变距两组自动对靶喷施试验。结果表明,喷施臂的移动可实现瞬间响应,运动实际耗时与理论耗时几乎一致,冠层体积估算模型的相对误差为11.27%;与定距对靶喷雾相比,自动变距对靶喷施的农药附着率提高了18.66%,节约了30.25%的药液。     

基于实例分割的白羽肉鸡体质量估测方法

针对白羽肉鸡体质量测量自动化水平低、易造成肉鸡应激的问题,提出一种结合深度学习的非接触式白羽肉鸡体质量估测方法。利用Mask R-CNN和YOLACT(You only look at coefficients) 两种实例分割算法获取白羽肉鸡位置与覆盖掩膜,并进行效果对比;采用自适应掩膜随机提取白羽肉鸡身体部分边缘点,并作为观测点进行椭圆拟合,映射白羽肉鸡背部像素投影面积;通过双变量相关性分析验证白羽肉鸡背部投影面积与体质量间的显著相关性,根据白羽肉鸡背部投影面积与背部像素投影面积的线性比例关系,按照最小二乘原则建立白羽肉鸡背部像素投影面积与体质量间的线性回归模型。试验表明,单只鸡体质量估测中以Mask R-CNN进行特征提取的体质量估测平均准确率为97.23%,以YOLACT进行特征提取的体质量估测平均准确率为97.49%,群鸡场景中体质量估测最低准确率为90.50%。     

无芒隐子草叶片卷曲度和厚度测量方法

针对叶片卷曲度和厚度交互式测量方式费时、费力、误差大,传统图像处理算法普适性不高等问题,以无芒隐子草叶片为研究对象,采用基于Graham 算法的最小外接矩形法实现叶片卷曲度的测量,采用矢量积法和角点检测相结合的凹凸点检测算法实现叶片厚度的测量。首先,通过石蜡制片获取无芒隐子草叶切片,利用显微镜连接计算机获取切片图像;然后,采用红色灰度化方法结合阈值分割将切片图像的目标和背景分离;最后,根据叶片卷曲度和厚度的实际测量方式,采用Graham算法通过求取目标区域的最小外接矩形实现叶片卷曲度的测量,将矢量积法和角点检测相结合检测目标区域的凹凸点,通过凹点与凹点、凸点与凸点匹配实现叶片厚度的测量。选取30幅无芒隐子草叶切片图像为样本进行了试验,结果显示,采用本文提出的红色灰度化方法和分量法、最大值法、平均法、加权平均法对图像进行灰度化处理后,图像信息熵分别为6.4280、6.3612、5.6679、5.9348、6.0526,图像平均梯度分别为0.0785、0.0242、0.0158、0.0093、0.0104,图像对比度分别为0.2641、0.1130、0.0574、0.0703、0.0784,说明本文方法能更好地保持图像的边缘、细节等信息,图像清晰度更高。进行自动阈值分割后,分割的平均误检率为0.75%,平均漏检率为3.49%,平均整体分割精度达到98.14%。在有效分割目标和背景的基础上,对叶片卷曲度和厚度进行测量,并与交互式测量结果进行相比,结果表明,采用本文方法对叶片卷曲度和厚度的测量值与交互式测量值的平均相对误差分别为0.96%和3.69%,测量速度分别提高了约10倍和37倍。     

基于MSRCR-YOLOv4-tiny的田间玉米杂草检测模型

为实现田间环境下对玉米苗和杂草的高精度实时检测,本文提出一种融合带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration, MSRCR)增强算法的改进YOLOv4-tiny模型。首先,针对田间环境的图像特点采用MSRCR算法进行图像特征增强预处理,提高图像的对比度和细节质量;然后使用Mosaic在线数据增强方式,丰富目标检测背景,提高训练效率和小目标的检测精度;最后对YOLOv4-tiny模型使用K-means++聚类算法进行先验框聚类分析和通道剪枝处理。改进和简化后的模型总参数量降低了45.3%,模型占用内存减少了45.8%,平均精度均值(Mean average precision, mAP)提高了2.5个百分点,在Jetson Nano嵌入式平台上平均检测帧耗时减少了22.4%。本文提出的Prune-YOLOv4-tiny模型与Faster RCNN、YOLOv3-tiny、YOLOv4 3种常用的目标检测模型进行比较,结果表明：Prune-YOLOv4-tiny的mAP为96.6%,分别比Faster RCNN和YOLOv3...     

基于YOLO v5s的作物叶片病害检测模型轻量化方法

为在保证识别性能前提下,对叶片病害检测模型进行有效轻量化,基于主干替换、模型剪枝以及知识蒸馏技术构建了一种模型轻量化方法,对以YOLO v5s为基础的叶片黄化曲叶病检测模型开展轻量化试验。首先,通过常见的性能优异的轻量级主干特征提取神经网络结构（Lightweight convolutional neural networks,LCNN）替换YOLO v5s主干对模型主体进行缩减;然后利用模型稀疏化训练和批归一化层（Batch normalization layer）的缩放因子分布状况,筛选并删减不重要的通道;最后,通过微调重新训练以及知识蒸馏,将模型精度调整到接近剪枝前的水平。试验结果表明,经轻量化处理的模型精确率、召回率和平均精度分别为91.3%、87.4%和92.7%,模型内存占用量为1.4 MB,台式机检测帧率81.0f/s,移动端检测帧率1.2f/s,相比原始YOLO v5s叶片病害检测模型,精确率、召回率和平均精度下降3.7、4.6、2.7个百分点,内存占用量仅为处理前的10%,台式机和移动端检测的帧率分别提升近27%和33%。本文所提出的方法在保持模型性能的前提下对模型有效轻量化,为移动端叶片病害检测部署提供了理论基础。     

基于三维激光点云的靶标叶面积密度计算方法

为向变量喷雾系统施药量的计算提供数据基础,提出了靶标喷施区域叶面积密度参数的计算方法。靶标三维点云数据由二维激光雷达传感器沿果树行直线运动间接获取。在假设各喷施子区域内叶片面积变化相对较小的条件下,基于Matlab曲线拟合工具箱cftool分析并验证了点云数与叶片数之间存在函数关系。曲线拟合结果表明,利用高斯函数、多项式函数与指数函数拟合点云数与叶片数,决定系数分别为0.925 7、0.931 0与0.936 4,指数函数拟合效果最好。相对误差分析结果表明,基于3种拟合函数,枝叶茂密区域相对误差最小为11.46%,枝叶中等茂密区域相对误差最小为11.05%,枝叶稀疏区域相对误差最小为35.50%。基于确定的点云数与叶片数间的函数方程,经系数变换后可计算出叶面积密度参数。     

基于近红外光谱技术的叶面药液浓度检测

提出了一种应用近红外光谱技术快速检测叶面药液浓度的方法。采用漫反射测量方式获取了叶面药液的近红外光谱。选用标准偏差归一化、三点滑动平均滤波和一阶导数为最优组合预处理。通过7种波段方案的对比,得出最优波段为350～1 900 nm。采用偏最小二乘法建立了叶面药液质量浓度与光谱反射率的定量分析模型。其预测集相关系数为0.994,预测均方根误差为0.039。结果表明,利用近红外光谱技术检测叶面药液浓度具有实际指导意义。     

基于双目视觉的树木图像测距方法

研究了双目视觉技术在智能对靶喷雾中的应用;试验中运用平行光轴的摄像机采集图像,通过寻找树木图像中特征点的方式将两幅图像进行匹配,解决相似性问题;再计算出目标树木到摄像头的距离及其误差,试验的平均偏差率在8%以内;运用该方法能达到智能喷雾中控制施药量的目的,提高精确智能对靶施药效率。