基于YOLO v5-Lite的自然环境木瓜成熟度检测方法

利用深度学习实现视觉检测技术对自然环境下树上木瓜成熟度的识别,从而监测木瓜生长期成熟度有重要意义。针对目前木瓜的成熟度主要以人工判断为主,缺乏对木瓜成熟度快速、准确的自动检测方法问题,本研究基于轻量化YOLO v5-Lite模型,对自然环境下木瓜成熟度检测方法进行研究,通过采集的1 386幅木瓜图像,训练得到最优权值模型。实验结果表明,该模型对木瓜检测mAP为92.4%,与目前主流的轻量化目标检测算法YOLO v5s、YOLO v4-tiny以及两阶段检测算法Faster R-CNN相比,其mAP分别提高1.1、5.1、4.7个百分点;此外,在保证检测精度的前提下,检测时间为7 ms,且模型内存占用量仅为11.3 MB。同时,该模型对不同拍摄距离、不同遮挡情况、不同光照情况下的果实均能实现准确识别,能够快速有效地识别出复杂背景下木瓜果实的成熟度,具有较强的鲁棒性,可以为木瓜果园的产量估计和采摘机器的定位检测提供技术支持。     

基于VINS-MONO和改进YOLO v4-Tiny的果园自主寻筐方法

面向果园运输车果品采收自主运输作业场景，提出了一种基于VINS-MONO和改进YOLO v4-Tiny的果园自主寻筐方法。首先基于VINS-MONO视觉惯性里程计算法，进行果园运输车位置姿态的实时估计。然后基于改进YOLO v4-Tiny目标检测算法，根据图像数据进行果筐实时目标检测并获取对应深度信息。其次根据运输车当前位置姿态、果筐深度信息以及深度相机内参，进行被识别果筐位置更新。最后基于三次B样条曲线拟合原理，以被识别果筐位置为控制点，进行寻筐路径实时拟合，为果园运输车抵近果筐提供路线引导。试验结果表明：改进YOLO v4-Tiny果筐识别模型的平均识别精度为93.96%,平均推理时间为14.7 ms, 4 m内的果筐距离定位误差小于4.02%,果筐角度定位误差小于3°,果园运输车实测平均行驶速度为3.3 km/h,果筐搜寻路线平均更新时间为0.092 s,能够在果树行间和果园道路两种作业环境下稳定实现自主寻筐。该方法能够为果园运输车提供自主寻筐路径引导，为其视觉导航提供研究参考。     

基于改进YOLO v7的轻量化樱桃番茄成熟度检测方法

为在自然环境下自动准确地检测樱桃番茄果实的成熟度,实现樱桃番茄果实自动化采摘,根据成熟期樱桃番茄果实表型特征的变化以及国家标准GH/T 1193—2021制定了5级樱桃番茄果实成熟度级别(绿熟期、转色期、初熟期、中熟期和完熟期),并针对樱桃番茄相邻成熟度特征差异不明显以及果实之间相互遮挡问题,提出一种改进的轻量化YOLO v7模型的樱桃番茄果实成熟度检测方法。该方法将MobileNetV3引入YOLO v7模型中作为骨干特征提取网络,以减少网络的参数量,同时在特征融合网络中加入全局注意力机制(Global attention mechanism, GAM)模块以提高网络的特征表达能力。试验结果表明,改进的YOLO v7模型在测试集下的精确率、召回率和平均精度均值分别为98.6%、98.1%和98.2%,单幅图像平均检测时间为82 ms,模型内存占用量为66.5 MB。对比Faster R-CNN、YOLO v3、YOLO v5s和YOLO v7模型,平均精度均值分别提升18.7、0.2、0.3、0.1个百分点,模型内存占用量也最少。研究表明改进的YOLO v7模型能够为樱桃番茄果实的自...     

基于改进YOLOV4网络模型的番茄果实检测

果实识别是视觉检测技术重要的环节,其识别精度易受复杂的生长环境及果实状态的影响。以大棚环境下单个、一簇、光照、阴影、遮挡、重叠6种复杂生长状态下的番茄果实为对象,提出一种基于改进YOLOv4网络模型与迁移学习相结合的番茄果实识别方法。首先利用ImageNet数据集与VGG网络模型前端16卷积层进行模型参数预训练,将训练的模型参数初始化改进模型的权值以代替原始的初始化操作,然后使用番茄数据集在VGG19的卷积层与YOLOV4的主干网络相结合的新模型中进行训练,获得最优权重实现对复杂环境下的番茄果实进行检测。最后,将改进模型与Faster RCNN、YOLOv4-Tiny、YOLOv4网络模型进行比较。研究结果表明,改进模型在6种复杂环境下番茄果实平均检测精度值mAP达到89.07%、92.82%、92.48%、93.39%、93.20%、93.11%,在成熟、半成熟、未成熟3种不同成熟度下的F1分数值为84%、77%、85%,其识别精度优于比较模型。本文方法实现了在6种复杂环境下有效地番茄果实检测识别,为番茄果实的智能采摘提供理论基础。     

基于改进YOLO v5的夜间温室番茄果实快速识别

为实现日光温室夜间环境下采摘机器人正常工作以及番茄快速识别,提出一种基于改进YOLO v5的夜间番茄果实的识别方法。采集夜间环境下番茄图像2 000幅作为训练样本,通过建立一种基于交并比的CIOU目标位置损失函数,对原损失函数进行改进,根据计算函数anchor生成自适应锚定框,确定最佳锚定框尺寸,构建改进型YOLO v5网络模型。试验结果表明,改进YOLO v5网络模型对夜间环境下番茄绿色果实识别精度、红色果实识别精度、综合平均识别精度分别为96.2%、97.6%和96.8%,对比CNN卷积网络模型及YOLO v5模型,提高了被遮挡特征物与暗光下特征物的识别精度,改善了模型鲁棒性。将改进YOLO v5网络模型通过编译将训练结果写入安卓系统制作快速检测应用软件,验证了模型对夜间环境下番茄果实识别的可靠性与准确性,可为番茄实时检测系统的相关研究提供参考。     

基于改进YOLO v5的自然环境下樱桃果实识别方法

为提高对樱桃果实识别的准确率,提升果园自动采摘机器人的工作效率,使用采集到的樱桃原始图像以及其搭配不同数据增强方式得到的数据图像共1816幅建立数据集,按照8∶2将数据集划分成训练集与测试集。基于深度学习网络,利用YOLO v5模型分别对不同数据增强方式以及组合增强方式扩增后的樱桃数据集进行识别检测,结果表明离线增强与在线增强均对模型精度提升有一定的正向促进作用,其中采用离线数据增强策略能够显著且稳定的增加检测精度,在线数据增强策略能够小幅度提高检测精度,同时使用离线增强以及在线增强能够最大幅度的提升平均检测精度。针对樱桃果实之间相互遮挡以及图像中的小目标樱桃检测难等导致自然环境下樱桃果实检测精度低的问题,本文将YOLO v5的骨干网络进行改动,增添具有注意力机制的Transformer模块,Neck结构由原来的PAFPN改成可以进行双向加权融合的BiFPN,Head结构增加了浅层下采样的P2模块,提出一种基于改进YOLO v5的自然环境下樱桃果实的识别网络。实验结果表明：相比于其他已有模型以及单一结构改进后的YOLO v5模型,本文提出的综合改进模型具有更高的检测精度,使平均精度均值2提高了29个百分点。结果表明该方法有效的增强了识别过程中特征融合的效率和精度,显著地提高了樱桃果实的检测效果。同时,本文将训练好的网络模型部署到安卓(Android)平台上。该系统使用简洁,用户设备环境要求不高,具有一定的实用性,可在大田环境下对樱桃果实进行准确检测,能够很好地满足实时检测樱桃果实的需求,也为自动采摘等实际应用奠定了基础。     

基于改进YOLOX的自然环境中火龙果检测方法

自然环境下果实的精准检测是火龙果采摘机器人执行采摘作业的先决条件。为提高自然环境下果实识别的精确性、鲁棒性和检测效率,本研究对YOLOX（You Only Look Once X）网络进行改进,提出了一种含有注意力模块的目标检测方法。为便于在嵌入式设备上部署,本方法以YOLOX-Nano网络为基准,将卷积注意力模块（Convolutional Block Attention Module,CBAM）添加到YOLOX-Nano的主干特征提取网络中,通过为主干网络提取到不同尺度的特征层分配权重系数来学习不同通道间特征的相关性,加强网络深层信息的传递,降低自然环境背景下对火龙果识别的干扰。对该方法进行性能评估和对比试验,经过训练后,该火龙果目标检测网络在测试集的AP_0.5值为98.9%,AP_0.5:0.95的值为72.4%。在相同试验条件下对比其它YOLO网络模型,该方法平均检测精度分别超越YOLOv3、YOLOv4-Tiny和YOLOv5-S模型26.2%、9.8%和7.9%。最后对不同分辨率的火龙果果园自然环境下采集的视频进行实时测试。试验结果表明,本研究提出的改进YOLOX-Nano目标检测方法,每帧平均检测时间为21.72 ms,F₁值为0.99,模型大小仅3.76 MB,检测速度、检测精度和模型大小满足自然环境下火龙果采摘的技术要求。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于改进型YOLO的复杂环境下番茄果实快速识别方法

为实现温室环境下农业采摘机器人对番茄果实的快速、精确识别,提出了一种改进型多尺度YOLO算法(IMS-YOLO)。对YOLO网络模型进行筛选和改进,设计了一种含有残差模块的darknet-20主干网络,同时融合多尺度检测模块,构建了一种复杂环境下番茄果实快速识别网络模型。该网络模型层数较少,能够提取更多特征信息,且采用多尺度检测结构,同时返回番茄果实的类别和预测框,以此提升番茄果实检测速度和精度。采用自制的番茄数据集对IMS-YOLO模型进行测试,并分别对改进前后网络的检测性能以及主干网络层数对特征提取能力的影响进行了对比试验。试验结果表明,IMS-YOLO模型对番茄图像的检测精度为97. 13%,准确率为96. 36%,召回率为96. 03%,交并比为83. 32%,检测时间为7. 719 ms;对比YOLO v2和YOLO v3等网络模型,IMS-YOLO模型可以同时满足番茄果实检测的精度和速度要求。最后,通过番茄温室大棚采摘试验验证了本文模型的可行性和准确性。     

自然环境下柑橘采摘机器人识别定位系统研究

为了准确理解柑橘采摘机器人在自然环境下的作业场景,获取采摘目标及周围障碍物的位置信息,构建了基于卷积神经网络和Kinect V2相机的识别定位系统。首先,对采摘场景中的果树提出5类目标物分类准则,包含1类可采摘果实和4类障碍物目标;然后,在YOLO V3（You only look once）卷积层模块中添加3层最大池化层,对预测候选框进行K-means聚类分析,增强模型对枝叶类物体特征的提取能力,实现采摘场景的准确理解;最后,采用Kinect V2相机的深度图映射得到采摘目标和障碍物的三维信息,并在自然环境下进行了避障采摘作业。实验结果表明,构建的识别定位系统对障碍物和可采摘果实的识别综合评价指数分别为83.6%和91.9%,定位误差为5.9mm,单帧图像的处理时间为0.4s,采摘成功率和避障成功率分别达到80.51%和75.79%。     

基于改进YOLO v3的自然场景下冬枣果实识别方法

为实现自然场景下冬枣果实的快速、精准识别,考虑到光线变化、枝叶遮挡、果实密集重叠等复杂因素,基于YOLO v3深度卷积神经网络提出了一种基于改进YOLO v3（YOLO v3-SE）的冬枣果实识别方法。YOLO v3-SE模型利用SE Net 的SE Block结构将特征层的特征权重校准为特征权值,强化了有效特征,弱化了低效或无效特征,提高了特征图的表现能力,从而提高了模型识别精度。YOLO v3-SE模型经过训练和比较,选取0.55作为置信度最优阈值用于冬枣果实检测,检测结果准确率P为88.71%、召回率R为83.80%、综合评价指标F为86.19%、平均检测精度为82.01%,与YOLO v3模型相比,F提升了2.38个百分点,mAP提升了4.78个百分点,检测速度无明显差异。为检验改进模型在冬枣园自然场景下的适应性,在光线不足、密集遮挡和冬枣不同成熟期的情况下对冬枣果实图像进行检测,并与YOLO v3模型的检测效果进行对比,结果表明,本文模型召回率提升了2.43~5.08个百分点,F提升了1.75~2.77个百分点,mAP提升了2.38~4.81个百分点,从而验证了本文模型的有效性。     

基于多器官特征融合的枣品种识别方法

针对自然场景下的枣品种识别问题,以枣果为研究对象的机器视觉技术已成为枣品种精准识别的主流方法之一。针对枣品种存在类间差异小、类内差异大的问题,提出了一种基于多器官特征融合的枣品种识别方法。首先利用YOLO v3检测算法将采集的自然场景图像中的枣果和叶片器官分割提取,提出了基于笛卡尔乘积构建两器官组合对的枣品种多样本数据集,然后基于EfficientNetV2网络模型,设计了能够充分学习两器官特征相关性的融合策略来提升模型性能,引入了逐步迁移训练方式以提升枣品种识别效率。最后,在构建的包含20个枣品种数据集上进行了大量实验,得到97.04%的识别准确率,明显优于现有研究结果,并且在训练时间和收敛速度上,本方法也有一定提升。结果表明该方法能够有效融合枣品种枣果和叶片器官的特征信息,可为其他品种识别研究提供参考。     

基于深度学习的林下落果识别方法与试验

监测与识别林下落果的数量和分布信息,是实现落果自动收获和果园智能化管理的重要基础。针对目前落果识别智能化程度较低等问题,提出一种基于深度学习的林下落果识别方法。首先,以不同类型、品种落果图像为基础,通过数据预处理、增强等方法建立林下落果图像数据集。其次,利用YOLO-v3深度卷积神经网络优势特性,建立落果智能识别方法。最后,以柑橘、梨、苹果三种典型落果,对基于深度学习的林下落果识别方法进行测试与验证,分析相关试验结果。试验结果表明:所提出的基于YOLO-v3落果识别方法,在不同条件均能准确识别落果,三种典型落果识别精度大于89%;相对于SSD,RCNN和CenterNet三种网络模型,YOLO-v3的准确率分别提高7%,2%和3.5%;在腐烂落果识别层面,YOLO-v3、SSD、RCNN和CenterNet的识别准确率分别为86%,59%,64%和43%;YOLO-v3的识别准确率高于其他深度学习模型。所提出的方法可以精确的识别林下落果,为后期的落果精准管理提供必要的技术支撑。     

基于逆运动学降维求解与YOLO v4的果实采摘系统研究

为提高采摘设备的执行效率，采用六自由度机械臂、树莓派、Android手机端和服务器设计了一种智能果实采摘系统，该系统可自动识别不同种类的水果，并实现自动采摘，可通过手机端远程控制采摘设备的起始和停止，并远程查看实时采摘视频。提出通过降低自由度和使用二维坐标系来实现三维坐标系中机械臂逆运动学的求解过程，从而避免了大量的矩阵运算，使机械臂逆运动学求解过程更加简捷。利用Matlab中的Robotic Toolbox进行机械臂三维建模仿真，验证了降维求解的可行性。在果实采摘流程中，为了使机械臂运动轨迹更加稳定与协调，采用五项式插值法对机械臂进行运动轨迹规划控制。基于Darknet深度学习框架的YOLO v4目标检测识别算法进行果实目标检测和像素定位，在Ubuntu 19.10操作系统中使用2000幅图像作为训练集，分别对不同种类的果实进行识别模型训练，在GPU环境下进行测试，结果表明，每种果实识别的准确率均在94%以上，单次果实采摘的时间约为17s。经过实际测试，该系统具有良好的稳定性、实时性以及对果实采摘的准确性。     

基于YOLO v7-ECA模型的苹果幼果检测

为实现自然环境下苹果幼果的快速准确检测,针对幼果期苹果果色与叶片颜色高度相似、体积微小、分布密集,识别难度大的问题,提出了一种融合高效通道注意力(Efficient channel attention, ECA)机制的改进YOLO v7模型(YOLO v7-ECA)。在模型的3条重参数化路径中插入ECA机制,可在不降低通道维数的前提下实现相邻通道局部跨通道交互,有效强调苹果幼果重要信息、抑制冗余无用特征,提高模型效率。采集自然环境下苹果幼果图像2 557幅作为训练样本、547幅作为验证样本、550幅作为测试样本,输入模型进行训练测试。结果表明,YOLO v7-ECA网络模型准确率为97.2%、召回率为93.6%、平均精度均值(Mean average precision, mAP)为98.2%、F1值为95.37%。与Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7网络模型相比,其mAP分别提高15.5、4.6、1.6、1.8、3.0、1.8个百分点,准确率分别提高49.7、0.9、18.5、1.2、0.9、1.0个百分点,...     

冬枣果实特性及机械化采摘现状研究

冬枣采摘是用工量最大、用工时间最密集的作业,实现冬枣机械化采摘是冬枣种植业的一大难题。通过梳理冬枣果实特性、脱落方式及规律等信息,阐述现有相关采摘机械研究包括工作原理、作业特点、存在缺陷等方面,对比分析干果红枣采收与冬枣采收。可以发现：振动式采摘是大规模生产中应用最广泛的方式,实现高效收获,但存在收集难度大、果实损伤率高等限制;半自动辅助采摘设备每次只对单个果实作业,效率提升有限;采摘机器人的研究尚在起步阶段,存在果实识别环境影响大、执行器执行不到位、效率低等难题。最后,提出冬枣采摘机械研发与冬枣种植管理相结合、冬枣采摘机械智能化、自主研发与国外技术相互借鉴是未来的研发方向。