利用无人机航拍视频结合YOLOv3模型和SORT算法统计云杉数量

准确、快速地统计苗木数量对苗圃的运营和管理具有重要意义,是提高苗圃运营和管理水平的有效方式。为快速准确统计完整地块内苗木数量,该研究选取云杉为研究对象,以无人机航拍完整地块云杉视频为数据源,提出一种基于YOLOv3（You Only Look Once v3,YOLOv3）和SORT（Simple Online and Realtime Tracking,SORT）的云杉数量统计方法。主要内容包括数据采集、YOLOv3检测模型构建、SORT跟踪算法和越线计数算法设计。以平均计数准确率（Mean Counting Accuracy,MCA）、平均绝对误差（Mean Absolute Error,MAE）、均方根误差（Root Mean Square Error,RMSE）和帧率（Frame Rate,FR）为评价指标,该方法对测试集中对应6个不同试验地块的视频内云杉进行数量统计的平均计数准确率MCA为92.30%,平均绝对误差MAE为72,均方根误差RMSE为98.85,帧率FR 11.5 帧/s。试验结果表明该方法能够快速准确统计完整地块的云杉数量。相比SSD+SORT算法,该方法在4项评价指标优势显著,平均计数准确率MCA高12.36%,帧率FR高7.8 帧/s,平均绝对误差MAE和均方根误差RMSE分别降低125.83和173.78。对比Faster R-CNN+SORT算法,该方法在保证准确率的基础上更加快速,平均计数准确率MCA仅降低1.33%,但帧率FR提高了10.1 帧/s。该研究从无人机航拍视频的角度为解决完整地块的苗木数量统计问题做出了有效探索。     

基于无人机航拍与改进YOLOv3模型的云杉计数

为解决目前苗木计数由人工完成而导致的成本高,效率低,计数精度不能得到保障的问题,该研究以自然环境下的云杉为研究对象,以无人机航拍云杉图像和拼接后完整地块云杉图像为数据源,根据云杉尺寸差异大和训练样本小的特点提出一种基于改进YOLOv3（You Only Look Once v3,YOLOv3）模型的云杉计数模型。该模型将密集连接模块和过渡模块引入特征提取过程,形成Darknet-61-Dense特征提取网络。通过694幅无人机航拍云杉图像测试表明,密集连接模块和过渡模块可解决YOLOv3模型小样本训练过拟合问题和云杉特征丢失问题,改进YOLOv3模型可以快速准确实现云杉计数,在精确率P、召回率R、平均精度AP、平均计数准确率MCA和平均检测时间ADT这5个评价指标上达到96.81%、93.53%、94.26%、98.49%和0.351 s;对比原有YOLOv3模型、SSD模型和Faster R-CNN模型,精确率P分别高2.44%、4.13%和0.84%。对于拼接后完整地块云杉图像,改进YOLOv3模型的5个评价指标的结果分别为91.48%、89.46%、89.27%、93.38%和1.847 s;对比原有YOLOv3模型、SSD模型和Faster R-CNN模型,精确率P分别高2.54%、9.33%和0.74%。该研究为利用无人机快速准确统计苗木数量的关键步骤做出有益的探索。     

基于无人机航拍图像与改进IntegrateNet的稠密云杉计数

苗木数量统计和库存管理对于大型苗圃经营和管理十分重要。该研究针对种植稠密的云杉地块，以无人机航拍云杉图像为对象，提出一种改进IntegrateNet模型，实现稠密云杉的准确计数。选择对稠密目标识别性能好的IntegrateNet为基础模型，根据稠密云杉粘连严重以及杂草背景干扰进行改进，首先使用自校正卷积（self-calibrated convolutions，SCConv）提高卷积感受野，增强模型对于不同尺寸云杉的适应能力。其次，在特征融合处应用十字交叉注意力机制（criss-cross attention，CCA）提高模型对上下文信息的提取能力。以平均计数准确率(mean counting accuracy，MCA)、平均绝对误差（mean absolute error，MAE）、均方根误差（root mean square error，RMSE）和决定系数R²为评价指标。分析结果表明，改进IntegrateNet模型在181幅测试集上的平均计数准确率，平均绝对误差，均方根误差，决定系数分别达到98.32%，8.99株、13.79株和0.99，相较于TasselNetv3_lite、TasselNetv3_seg和IntegrateNet模型，平均计数准确率分别提升16.44、10.55和9.26个百分点，平均绝对误差分别降低25.62、10.45和6.99株，均方根误差分别降低48.25、13.84和12.52株。改进IntegrateNet模型能够有效提高稠密云杉的计数准确率，可为完善苗木数量统计系统提供算法基础。     

基于特征融合的棉花幼苗计数算法

为了获取棉花幼苗数量，掌握播种成活率和出苗率等关键苗情信息，该研究提出一种基于特征融合的棉花幼苗计数算法。首先，该算法采用VGG-16作为基础模块提取图像特征，使用注意力模块（Convolutional Block Attention Module，CBAM）在通道和空间维度上进行特征增强，然后将增强后的特征与基础模块中的特征进行融合，进一步强化幼苗特征表达，最后通过去冗余和归一化操作得到计数结果。此外，还构建了一个包含399张棉花幼苗图像的数据集，其中包含了对212 572株幼苗的精准手工标注点标签。在该数据集上的测试结果表明，所提出的棉花幼苗计数算法取得了较好的计数效果，平均计数误差（Mean Absolute Error，MAE）和均方根误差（Root Mean Square Error，RMSE）分别为63.46和81.33，对比多列卷积神经网络（Multi-column Convolutional Neural Network, MCNN）、拥挤场景识别网络（Congested Scene Recognition Network, CSRNet）、TasselNet、MobileCount等方法，MAE平均下降了48.8%，RMSE平均下降了45.3%。     

基于深度卷积神经网络的田间麦穗密度估计及计数

小麦的最终产量可由单位面积的小麦麦穗数侧面反映,为了快速准确统计小麦麦穗数,该研究给出一种在单幅图像上利用深度卷积神经网络估计田间麦穗密度图并进行麦穗计数的方法。首先对采集的田间小麦图像进行直方图均衡化及阈值分割预处理,以减少图像中光照及一些复杂背景对计数的影响;然后根据灌浆期田间小麦图像麦穗密集的特点,引入拥挤场景识别网络（Congested Scene Recognition Network,CSRNet）构建麦穗密度图估计模型,并采用迁移学习方法,利用小麦图像公开数据集对模型进行预训练,再用所采集的小麦图像数据集进行模型参数调整和优化;利用得到的模型生成单幅小麦图像的麦穗密度图,根据密度图中所有密度值的总和对图像进行麦穗计数。最后根据对单幅麦穗图像的试验数据,构建田间麦穗计数函数模型,实现田间小麦麦穗数估计。通过对所采集的安农170、苏麦188、乐麦608和宁麦24这4个品种共296幅小麦图像进行试验,平均绝对误差（Mean Absolute Error,MAE）和均方根误差（Root Mean Squared Error,RMSE）分别为16.44和17.89,4个品种小麦的麦穗计数值与真实值的决定系数R2均在0.9左右,表明该方法对单幅图像小麦麦穗计数精度较高。此外,通过对田间小麦麦穗数进行估计试验,结果表明,随面积的增大麦穗估计的误差越小,研究结果可以为小麦的产量自动估计提供参考。     

基于无人机图像的多尺度感知麦穗计数方法

小麦是世界上重要的粮食作物,其产量的及时、准确预估对世界粮食安全至关重要,小麦穗数是估产的重要数据,因此该研究通过构建普适麦穗计数网络（Wheat Ear Counting Network,WECnet）对灌浆期小麦进行精准的计数与密度预估。选用多个国家不同品种的麦穗图像进行训练,并且对数据集进行增强,以保证麦穗多样性。在原始人群计数网络CSRnet基础上,针对小麦图像特点构建WECnet网络。在网络前端,通过使用VGG19的前12层进行特征提取,同时与上下文语义特征进行融合,充分提取麦穗的特征信息。后端网络使用不同空洞率的卷积加大感受野,输出高质量的密度图。为了验证模型的可迁移性与普适性,该研究通过基于全球小麦数据集训练好的模型对无人机实拍的麦田图像进行计数。试验结果表明：在全球小麦数据集上,WECnet训练模型的决定系数、均方根误差（Root Mean Square Error,RMSE）与平均绝对误差（Mean Absolute Error,MAE）分别达到了0.95、6.1、4.78。在无人机拍摄图像计数中,决定系数达到0.886,整体错误率仅为0.23%,平均单幅小麦图像计数时间为32 ms,计数速度与精度均表现优异。结果表明,普适田间小麦计数模型WECnet可以对无人机获取图像中小麦的准确计数及密度预估提供数据参考。     

融合卷积神经网络与视觉注意机制的苹果幼果高效检测方法

果实表型数据高通量、自动获取是果树新品种育种研究的基础,实现幼果精准检测是获取生长数据的关键。幼果期果实微小且与叶片颜色相近,检测难度大。为了实现自然环境下苹果幼果的高效检测,采用融合挤压激发块(Squeeze-and-Excitation block, SE block)和非局部块(Non-Local block, NL block)两种视觉注意机制,提出了一种改进的YOLOv4网络模型(YOLOv4-SENL)。YOLOv4模型的骨干网络提取高级视觉特征后,利用SE block在通道维度整合高级特征,实现通道信息的加强。在模型改进路径聚合网络(Path Aggregation Network, PAN)的3个路径中加入NL block,结合非局部信息与局部信息增强特征。SE block和NL block两种视觉注意机制从通道和非局部两个方面重新整合高级特征,强调特征中的通道信息和长程依赖,提高网络对背景与果实的特征捕捉能力。最后由不同尺寸的特征图实现不同大小幼果的坐标和类别计算。经过1 920幅训练集图像训练,网络在600幅测试集上的平均精度为96.9%,分别比SSD、Faster R-CNN和YOLOv4模型的平均精度提高了6.9百分点、1.5百分点和0.2百分点,表明该算法可准确地实现幼果期苹果目标检测。模型在480幅验证集的消融试验结果表明,仅保留YOLOv4-SENL中的SE block比YOLOv4模型精度提高了3.8百分点;仅保留YOLOv4-SENL中3个NL block视觉注意模块比YOLOv4模型的精度提高了2.7百分点;将YOLOv4-SENL中SE block与NL blocks相换,比YOLOv4模型的精度提高了4.1百分点,表明两种视觉注意机制可在增加少量参数的基础上显著提升网络对苹果幼果的感知能力。该研究结果可为果树育种研究获取果实信息提供参考。     

基于改进YOLOv7的油茶果实成熟度检测

为确保油茶果实处于最佳成熟度进行采摘,提高油茶果实的出油率及茶油品质,该研究针对自然环境下油茶果实多被遮挡的问题,以原始YOLOv7模型为基础进行改进,提出一种油茶果实成熟度检测方法。首先,在主干网络中引入十字交叉注意力机制（criss-cross attention,CCA）加强对被枝叶遮挡果实成熟度特征的提取能力;其次,使用基于距离和交并比的非极大值抑制（distance-iou non-maximum suppression,DIoU-NMS）算法代替传统非极大值抑制（nonmaximum suppression,NMS）算法,从而加强模型对相互遮挡果实的检测能力;最后,以训练集中3 098张油茶果实图像训练改进的YOLOv7模型,验证集中442张图像用于在训练过程中评估模型,并对测试集中885张图像进行测试。改进后的YOLOv7模型在测试集下的精确率P为93.52%,召回率R为90.25%,F1分数为91.86%,平均精度均值mAP为94.60%,平均检测时间为0.77 s,模型权重大小为82.6 M。与Faster R-CNN、EfficientDet、YOLOv3、YOLO...     

基于改进YOLOv7的毛虾捕捞渔船作业目标检测与计数方法

渔船捕捞信息量化是开展限额捕捞精细化管理的前提,为解决中国毛虾限额捕捞目标识别和信息统计量化问题,研究了在中国毛虾限额捕捞渔船上安装电子监控（electronic monitoring,EM）设备,并基于YOLOv7提出一种改进的目标检测算法（YOLOv7-MO）和目标计数算法（YOLOv7-MO-SORT）。YOLOv7-MO目标检测算法采用MobileOne作为主干网络,在输出端head部分加入C3模块,并完成剪枝操作;YOLOv7-MO-SORT目标计数算法将SORT（simple online and realtime tracking）算法中的Fast R-CNN替换为YOLOv7-MO,用于检测捕捞作业中抛出的锚和装有毛虾的筐。采用卡尔曼滤波和匈牙利匹配算法对检测到的目标进行跟踪预测,设置碰撞检测线、时间戳、阈值和计数器,实现对捕捞作业过程中渔获毛虾筐数和下网数量计数。结果表明：1）改进后的YOLOv7-MO在测试集上的平均检测精度、召回率、F1得分分别达到了97.3%,96.0%,96.6%,相比YOLOv7模型分别提升了2.0、1.1和1.5个百分点。2）改进后的YOLOv7-MO模型大小、参数量和浮点运算数分别为64.0 MB、32.6 M、39.7 G,相比YOLOv7模型分别缩小了10.2%、10.6%和61.6%。3）以YOLOv7-MO为检测器的SORT算法毛虾捕捞作业计数准确率在统计毛虾筐数和下网数量上分别达到80.0%和95.8%。YOLOv7-MO在提高检测精度的同时减轻了模型量级,提高了检测效率。结果表明,该研究能够为实现渔船捕捞作业信息记录自动化和智能化提供方法,为毛虾限额捕捞管理提供决策参考依据。     

基于改进EfficientDet的油橄榄果实成熟度检测

自然环境下自动准确地检测油橄榄果实的成熟度是实现油橄榄果实自动化采摘的基础。该研究根据成熟期油橄榄果实表型特征的变化以及参考国际油橄榄理事会和中国林业行业标准的建议制定了油橄榄果实成熟度标准,并针对油橄榄果实相邻成熟度特征差异不明显以及果实之间相互遮挡问题,提出一种改进EfficientDet的油橄榄果实成熟度检测方法。首先改进特征提取网络,在特征提取网络中引入卷积注意力模块（Convolution Block Attention Module,CBAM）细化不同成熟度之间的特征映射;其次改进特征融合网络,在加权双向特征金字塔网络（Bidirectional Feature Pyramid Network,Bi-FPN）中增加跨级的数据流加强果实的相对位置信息,最后通过623幅油橄榄测试图像对改进的EfficientDet模型进行测试。改进EfficientDet模型在测试集下的精确率P、召回率R和平均精度均值mAP分别为92.89%、93.59%和94.60%,平均检测时间为0.337 s,模型大小为32.4 M。对比SSD、EfficientDet、YOLOv3、YOLOv5s和Faster R-CNN模型,平均精度均值mAP分别提升7.85、4.77、3.73、1.15和1.04个百分点。改进EfficientDet模型能够为油橄榄果实的自动化采摘提供有效探索。     

基于TPH-YOLO的无人机图像麦穗计数方法

在无人机上安装光学传感器捕捉农作物图像是一种经济高效的方法，它有助于产量预测、田间管理等。该研究以无人机小麦作物图像为研究对象，针对图像中麦穗分布稠密、重叠现象严重、背景信息复杂等特点，设计了一种基于TPH-YOLO(YOLO with transformer prediction heads)的麦穗检测模型，提高无人机图像麦穗计数的精度。首先，为了减小光照不均匀对无人机图像质量造成的影响，该研究采用Retinex算法进行图像增强处理。其次，在YOLOv5的骨干网络中添加坐标注意力机制（coordinateattention,CA），使模型细化特征，更加关注麦穗信息，抑制麦秆、麦叶等一些背景因素的干扰。再次，将YOLOv5中原始的预测头转换为Transformer预测头（transformer prediction heads,TPH），该预测头具有多头注意力机制的预测潜力，可以在高密度场景下准确定位到麦穗。最后，为了提高模型的泛化能力和检测精度，采用了迁移学习的训练策略，先使用田间采集的小麦图像数据集对模型进行预训练，接着再使用无人机采集的小麦图像数据集对模型进行参数更新和优化训练，...     

融合YOLOv7和BYTE多目标跟踪的多类别海珍品计数方法

针对目前养殖过程中海珍品计数方法成本高、效率低、计数精度难以保障等问题,该研究以真实底播养殖环境下的海珍品为研究对象,以水下拍摄的海珍品视频为数据源,提出一种基于视频多目标跟踪的多类别海珍品计数方法。首先,采用性能优异的YOLOv7算法实现海珍品目标检测器,为多目标跟踪提供输入;然后,结合真实养殖环境下同类别海珍品外观相似性高、不清晰等特点,借鉴BYTE算法的多目标跟踪思想,设计多类别轨迹生成策略和基于轨迹ID号的计数策略,提出一种多类别海珍品跟踪与计数方法。并提出一套更适用于基于轨迹ID号计数方法的评估指标。试验结果表明,改进平均计数精度、改进平均绝对误差、改进均方根误差及帧率分别为91.62%、5.75、6.38和32帧/s,各项指标多优于YOLOv5+DeepSORT、YOLOv7+DeepSORT、YOLOv5+BYTE、YOLOv7+BYTE等算法,尤其改进平均计数精度、帧率指标比YOLOv5+DeepSORT高了29.51个百分点和8帧/s,且在改进平均绝对误差、改进均方根误差指标上分别降低19.50和12.08。该研究方法可有效帮助水产养殖企业掌握水下海珍品数量,为现代化...     

基于超分辨率重建和Transformer的退化草地空斑定位方法

无人机补播是草地修复工作的有效手段之一。针对无人机作业过程中,空斑定位精度不高导致的效率低下、工作量大等问题,该研究提出一种基于无人机图像超分辨率重建和Transformer的退化草地空斑定位方法YOLOFG（YOLO for Gap）。基于YOLOv5s网络框架,在模型颈部设计联级特征纹理选择模块,强化模型特征纹理细节聚焦力,解决无人机空斑影像尺度变化大、纹理模糊问题;其次,以ShuffleNetV2构建主干网络,嵌入信息交互Transformer自注意力结构,提取像素间更多差异化特征,以提升模型对空斑边缘像素的精确捕获能力;最后,基于空斑锚框信息建立无人机位姿信息和空间平面的成像模型,实现目标空斑的精准定位。试验结果表明,YOLOFG模型平均精度均值为96.57%,相较于原始YOLOv5s模型提升3.84个百分点;参数量约为6.24 MB,比原始模型降低约11.2%。与YOLOv4、YOLOv7、YOLOv8模型相比,检测精度分别提高11.86、9.65、6.82个百分点。空斑定位的平均误差为0.4404 m,满足无人机作业对草地空斑精准定位的需求,可为开展退化草地植被恢复与重建工作提供有力技术支持。     

改进YOLOv5测量田间小麦单位面积穗数

单位面积穗数是决定小麦产量的主要因素之一。针对人工清点小麦穗数的方法容易受主观因素影响、效率低和图像处理方法鲜有进行系统部署等问题,提出一种注意力模块（Convolutional Block Attention Module,CBAM）与YOLOv5相结合的CBAM-YOLOv5网络结构,通过对特征图进行自适应特征细化,实现更准确的单位面积穗数测量。该研究以本地采集小麦图像数据和网络公开小麦图像数据为数据集,设置输入图像分辨率为1 280,得到CBAM-YOLOv5模型,可以达到0.904的F1分数和0.902的平均精度,测试集计数的平均相对误差为2.56%,平均每幅图像耗时0.045 s,综合对比,CBAM-YOLOv5模型具有显著优势。模型放置于服务器,结合手机端软件和辅助装置,形成单位面积穗数测量系统,实现育种小区麦穗图像实时采集、处理和计数,计数的平均相对误差为2.80%,抗环境干扰性强。该研究方法与装置可以实现田间小麦单位面积穗数的实时在线检测,降低主观误差,具有较高的准确率及较强的鲁棒性,为小麦单位面积穗数快速、准确估测提供一种新的技术和装备支撑。     

基于改进YOLOv3-Tiny的番茄苗分级检测

为了提高番茄苗分选移栽分级检测精度,该研究提出了YOLOv3-Tiny目标检测改进模型.首先建立了番茄穴盘苗数据集,使用K-means++算法重新生成数据集锚定框,提高网络收敛速度和特征提取能力;其次为目标检测模型添加SPP空间金字塔池化,将穴孔局部和整体特征融合,提高了对弱苗的召回率;同时加入路径聚合网络(PANet...     

基于无人机视频影像的油菜苗检测与计数

针对油菜生长早期传统人工苗情调查方法效率低、主观意识强,不能满足大面积或经常性高精度苗期调查作业需求的问题,该研究基于无人机影像及机器学习技术,提出一种油菜苗视频流检测模型及计数方法。通过对YOLO系列基础模型添加多头自注意力,用BasicRFB（basic receptive field block）模块替换原有的空间池化结构（spatial pyramid pooling-fast,SPPF）模块,并对Neck部分添加一维卷积及更换下采样方式等,进一步结合DeepSORT（deep simple online and real-time tracking）算法和越线计数技术实现对油菜苗的数量统计。算例测试结果表明,改进后YOLOv5s的交并比阈值0.50的平均精度均值达到93.1%,交并比阈值0.50～0.95的平均精度均值达到了67.5%,明显优于Faster R-CNN、SSD和YOLOX等其他经典目标检测算法,交并比阈值0.50的平均精度均值分别高出14.82、26.37和3.3个百分点,交并比阈值为0.50～0.95范围下的平均精度均值分别高出25.7、33.9和6.7个百分点。油菜苗计数试验结果表明,离线视频计数时,在合理的种植密度区间内,所提算法的油菜苗计数精度平均达到93.75%,计数效率为人工计数的9.54倍;在线实时计数时,在不同天气情况下,计数平台的油菜苗计数精度最大相差1.87个百分点,具有良好的泛化性,满足油菜苗计数实时性要求。     

基于改进YOLOv7的杨梅树单木检测

为了快速检测和统计杨梅树的数量,该研究提出了一种基于改进YOLOv7的杨梅树单木检测模型：YOLOv7-ACGDmix。首先,对YOLOv7的可扩展高效长程注意力网络（extended-efficient long-range attention networks, E-ELAN）进行改进,通过融合兼具卷积和注意力机制优势的ACmix（a mixed model that enjoys the benefit of both self-attention and convolution）结构得到AC-E-ELAN模块,提升模型的学习和推理能力,引入可变形卷积（deformable convolutional networks version 2, DCNv2）结构得到DCNv2-E-ELAN模块,增强模型对不同尺寸目标的提取能力;其次,采用内容感知特征重组（content-aware reassembly of features, CARAFE）上采样模块,提高模型对重要特征的提取能力;然后,在主干和头部网络部分添加全局注意力机制（global-attention mechanism, GAM）,强化特征中的语义信息和位置信息,提高模型特征融合能力;最后,采用WIoU（wise intersection over union）损失函数减少因正负样本数据不平衡造成的干扰,增强模型的泛化性。在公开数据集上的试验结果表明,YOLOv7-ACGDmix模型的精确率达到89.1%,召回率达到89.0%,平均精度均值（mean average precision, mAP）达到95.1%,F₁-score达到89.0%,相比于原YOLOv7模型分别提高1.8、4.0、2.3和3.0个百分点。与Faster R-CNN、SSD、YOLOv8模型相比,改进模型的平均精度均值（mAP_0.5）分别提高了9.8、2.2、0.7个百分点。实地采集杨梅树样本数据的检测精确率87.3%、召回率85.7%。试验表明,改进模型为基于无人机影像的杨梅树单木检测提供了一种有效的解决方案,对果园精准管理的发展具有重要意义。