基于特征金字塔注意力与深度卷积网络的多目标生猪检测

在生猪饲养环境中,猪只黏连、杂物遮挡等给生猪个体多目标检测带来很大困难。该研究以猪圈群养生猪为研究对象,以视频帧为数据源,提出一种适用于生猪形体检测的特征金字塔注意力(FeaturePyramidAttention,FPA)与Tiny-YOLO相结合的模型FPA-Tiny-YOLO。该模型将注意力信息融入到特征提取过程,在不大幅增加计算量的前提下即可提升特征提取能力、提高检测精度。对8栏日龄20～105 d的45头生猪视频截取图像进行图像处理,获得标注图片4 102张,构建了4种深度FPA模块分别加入YOLOV3与Tiny-YOLO模型中。试验表明,深度为3的FPA模块(即FPA-3)的Tiny-YOLO模型在测试集上对群养生猪多目标检测的召回率Recall、F1与平均检测精度m AP指标值最佳,分别达到86.09%、91.47%和85.85%,比未引入FPA模块的Tiny-YOLO模型均有不同程度的提高。选用不同的IOU(Intersection Over Union)和score阈值超参数值对模型预测结果均有不同程度影响;将测试集图像按照是否黏连与遮挡划分4种场景来探究该模型的鲁棒性。试验表明,加入FPA-3模块后Tiny-YOLO的Recall、F1与m AP比Tiny-YOLO分别提升6.73、4.34和7.33个百分点,说明特征金字塔注意力信息有利于精确、有效地对不同场景群养生猪进行多目标检测。研究结果可为后续开展生猪身份识别和行为分析移动端应用提供参考。     

采用双重注意力特征金字塔网络检测群养生猪

为解决复杂环境下,猪只粘连和猪栏遮挡等因素给生猪个体多目标实例检测带来的困难,该研究以群养猪圈场景下8栏(日龄20～105 d)共计45头生猪为研究对象,以视频为数据源,采用平视视角、镜头位置不固定的数据采集方式,共获得标注图像3 834张,并将其划分为训练集2 490张、验证集480张、测试集864张。引入一种融合通道注意力(Channel Attention Unit,CAU)与空间注意力(Position Attention Unit,PAU)的双重注意力单元(Dual Attention Unit,DAU),并将DAU用于特征金字塔网络(Feature Pyramid Network,FPN)结构中,研究基于两大骨干网络ResNet50、ResNet101与4个任务网络Mask R-CNN、Cascade Mask R-CNN、MS R-CNN及HTC(Hybrid Task Cascade)交叉结合模型对群养生猪实例检测性能。结果表明:与CBAM、BAM、SCSE等注意力模块相比,HTC-R101-DAU比HTC-R101-CBAM在IOU阈值为0.5、0.75、0.5～0.95(所有目标)、0.5～0.95(大目标)条件下的4种AP(Average Precision)指标分别提升1.7%、1.7%、2.1%与1.8%;单独加入CAU与PAU以分别探究通道与空间注意力单元对任务网络检测性能影响,试验结果表明,DAU与CAU及PAU相比性能更佳,且加入特定串联数量的PAU效果优于CAU;为获取更为丰富的上下文信息,分别串联1～4个PAU单元以构建不同空间注意力模块,试验结果表明,随着串联PAU单元数量的增加,相同任务网络其预测AP指标值先增加后减小。综合分析,HTC-R101-DAU模型可更为精确、有效地对不同场景生猪进行实例检测,可为后续生猪个体深度研究奠定基础。     

融合重参数化和注意力机制的猪脸关键点检测方法

面部对齐是猪脸识别中至关重要的步骤,而实现面部对齐的必要前提是对面部关键点的精准检测。生猪易动且面部姿态多变,导致猪脸关键点提取不准确,且目前没有准确快捷的猪脸关键点检测方法。针对上述问题,该研究提出了生猪面部关键点精准检测模型YOLO-MOB-DFC,将人脸关键点检测模型YOLOv5Face进行改进并用于猪脸关键点检测。首先,使用重参数化的MobileOne作为骨干网络降低了模型参数量;然后,融合解耦全连接注意力模块捕捉远距离空间位置像素之间的依赖性,使模型能够更多地关注猪面部区域,提升模型的检测性能;最后,采用轻量级上采样算子CARAFE充分感知邻域内聚合的上下文信息,使关键点提取更加准确。结合自建的猪脸数据集进行模型测试,结果表明,YOLO-MOB-DFC的猪脸检测平均精度达到99.0%,检测速度为153帧/s,关键点的标准化平均误差为2.344%。相比RetinaFace模型,平均精度提升了5.43%,模型参数量降低了78.59%,帧率提升了91.25%,标准化平均误差降低了2.774%;相较于YOLOv5s-Face模型,平均精度提高了2.48%,模型参数量降低了18.29%,标准化平均误差降低了0.567%。该文提出的YOLO-MOB-DFC模型参数量较少,连续帧间的标准化平均误差波动更加稳定,削弱了猪脸姿态多变对关键点检测准确性的影响,同时具有较高的检测精度和检测效率,能够满足猪脸数据准确、快速采集的需求,为高质量猪脸开集识别数据集的构建以及非侵入式生猪身份智能识别奠定基础。     

基于多注意力机制级联LSTM模型的猪脸表情识别

面部表情是传递情感的重要信息,是家畜生理、心理和行为的综合反映,可以用于评估家畜福利。由于家畜面部肌群结构简单,因此家畜面部不同区域的细微变化对于表情的反映较难识别。该研究提出一种基于多注意力机制级联LSTM框架模型（Multi-attention Cascaded Long Short Term Memory,MA-LSTM）对家猪时序面部表情进行分类识别。首先通过简化的多任务级联卷积结构实现帧图像中猪脸的快速检测与定位,去除非猪脸区域对于识别性能的影响。其次提出一种多注意力机制模块,利用不同特征通道视觉信息不同相应峰值响应区域也不同这一特性,通过对峰值响应相近区域进行聚类捕获表情变化引起的面部显著性区域,实现对面部细微变化的关注。在自标注构建的家猪表情数据集上的试验结果表明,该研究提出的多注意力机制级联LSTM模型,对比关闭多注意力机制模块平均识别准确率平均提升6.3个百分点,同时误分率也有较为明显的降低。对比其他常用面部表情识别算法LBP-TOP、HOG-TOP、ELRCN、STC-NLSTM,MA-LSTM模型平均识别精度分别提升约32.6、18.0、5.9和4.3个百分点。试验结果验证了该研究提出的多注意力机制级联LSTM模型在猪脸表情识别的有效性。     

采用改进CenterNet模型检测群养生猪目标

为实现对群养环境下生猪个体目标快速精准的检测,该研究提出了一种针对群养生猪的改进型目标检测网络MF-CenterNet（MobileNet-FPN-CenterNet）模型,为确保目标检测的精确度,该模型首先以无锚式的CenterNet为基础结构,通过引入轻量级的MobileNet网络作为模型特征提取网络,以降低模型大小和提高检测速度,同时加入特征金字塔结构FPN（Feature Pyramid Networks）以提高模型特征提取能力,在保证模型轻量化、实时性的同时,提高遮挡目标和小目标的检测精度。该研究以某商业猪场群养生猪录制视频作为数据源,采集视频帧1 683张,经图像增强后共得到6 732张图像。试验结果表明,MF-CenterNet模型大小仅为21 MB,满足边缘计算端的部署,同时对生猪目标检测平均精确度达到94.30%,检测速度达到69 帧/s,相较于Faster-RCNN、SSD、YOLOv3、YOLOv4目标检测网络模型,检测精度分别提高了6.39%、4.46%、6.01%、2.74%,检测速度分别提高了54、47、45、43 帧/s,相关结果表明了该研究所提出的改进型的轻量级MF-CenterNet模型,能够在满足目标检测实时性的同时提高了对群养生猪的检测精度,为生产现场端的群养生猪行为实时检测与分析提供了有效方法。     

融合轻量化网络与注意力机制的果园环境下苹果检测方法

为提高复杂果园环境下苹果检测的综合性能，降低检测模型大小，通过对单阶段检测网络YOLOX-Tiny的拓扑结构进行了优化与改进，提出了一种适用于复杂果园环境下轻量化苹果检测模型（Lightweight Apple Detection YOLOX-Tiny Network，Lad-YXNet）。该模型引入高效通道注意力（Efficient Channel Attention，ECA）和混洗注意力（Shuffle Attention，SA）两种轻量化视觉注意力模块，构建了混洗注意力与双卷积层（Shuffle Attention and Double Convolution Layer，SDCLayer）模块，提高了检测模型对背景与果实特征的提取能力，并通过测试确定Swish与带泄露修正线性单元（Leaky Rectified Linear Unit，Leaky-ReLU）作为主干与特征融合网络的激活函数。通过消融试验探究了Mosaic增强方法对模型训练的有效性，结果表明图像长宽随机扭曲对提高模型综合检测性能贡献较高，但图像随机色域变换由于改变训练集中苹果的颜色，使模型检测综合性能下降。为提高模型检测苹果的可解释性，采用特征可视化技术提取了Lad-YXNet模型的主干、特征融合网络和检测网络的主要特征图，探究了Lad-YXNet模型在复杂自然环境下检测苹果的过程。Lad-YXNet经过训练在测试集下的平均精度为94.88%，分别比SSD、YOLOV4-Tiny、YOLOV5-Lite和YOLOX-Tiny模型提高了3.10个百分点、2.02个百分点、2.00个百分点和0.51个百分点。Lad-YXNet检测一幅图像的时间为10.06 ms，模型大小为16.6 MB，分别比YOLOX-Tiny减少了20.03%与18.23%。该研究为苹果收获机器人在复杂果园环境下准确、快速地检测苹果提供了理论基础。     

基于多尺度融合注意力机制的群猪检测方法

群猪检测是现代化猪场智慧管理的关键环节。针对群猪计数过程中,小目标或被遮挡的猪只个体易漏检的问题,该研究提出了基于多尺度融合注意力机制的群猪检测方法。首先基于YOLOv7模型构建了群猪目标检测网络YOLOpig,该网络设计了融合注意力机制的小目标尺度检测网络结构,并基于残差思想优化了最大池化卷积模块,实现了对被遮挡与小目标猪只个体的准确检测;其次结合GradCAM算法进行猪只检测信息的特征可视化,验证群猪检测试验特征提取的有效性。最后使用目标跟踪算法StrongSORT实现猪只个体的准确跟踪,为猪只的检测任务提供身份信息。研究以育肥阶段的长白猪为测试对象,基于不同视角采集的视频数据集进行测试,验证了YOLOpig网络结合StongSORT算法的准确性和实时性。试验结果表明,该研究提出的YOLOpig模型精确率、召回率及平均精度分别为90.4%、85.5%和92.4%,相较于基础YOLOv7模型平均精度提高了5.1个百分点,检测速度提升7.14%,比YOLOv5、YOLOv7tiny和YOLOv8n 3种模型的平均精度分别提高了12.1、16.8和5.7个百分点,该文模型可以实现群猪的有...     

采用组合增强的YOLOX-ViT协同识别温室内番茄花果

番茄花果的协同识别是温室生产管理调控的重要决策依据,针对温室番茄栽培密度大,植株遮挡、重叠等因素导致的现有识别算法精度不足问题,该研究提出一种基于级联深度学习的番茄花果协同识别方法,引入图像组合增强与前端ViT分类网络,以提高模型对于小目标与密集图像检测性能。同时,通过先分类识别、再进行目标检测的级联网络,解决了传统检测模型因为图像压缩而导致的小目标模糊、有效信息丢失问题。最后,引入了包括大果和串果在内的不同类型番茄品种数据集,验证了该方法的可行性与有效性。经测试,研究提出的目标检测模型的平均识别率均值（mean average precision,m AP）为92.30%,检测速度为28.46帧/s,其中对小花、成熟番茄和未成熟番茄识别平均准确率分别为87.92%、92.35%和96.62%。通过消融试验表明,与YOLOX、组合增强YOLOX相比,改进后的模型m AP提高了2.38～6.11个百分点,相比于现有YOLOV3、YOLOV4、YOLOV5主流检测模型,m AP提高了16.56～23.30个百分点。可视化结果表明,改进模型实现了对小目标的零漏检和对密集对象的无误检,从而达到...     

基于改进YOLOv5的复杂跨域场景下的猪个体识别与计数

为解决复杂跨域场景下猪个体的目标检测与计数准确率低下的问题，该研究提出了面向复杂跨域场景的基于改进YOLOv5（You Only Look Once version 5）的猪个体检测与计数模型。该研究在骨干网络中分别集成了CBAM（Convolutional Block Attention Module）即融合通道和空间注意力的模块和Transformer自注意力模块，并将CIoU（Complete Intersection over Union）Loss替换为EIoU（Efficient Intersection over Union）Loss，以及引入了SAM （Sharpness-Aware Minimization）优化器并引入了多尺度训练、伪标签半监督学习和测试集增强的训练策略。试验结果表明，这些改进使模型能够更好地关注图像中的重要区域，突破传统卷积只能提取卷积核内相邻信息的能力，增强了模型的特征提取能力，并提升了模型的定位准确性以及模型对不同目标大小和不同猪舍环境的适应性，因此提升了模型在跨域场景下的表现。经过改进后的模型的mAP@0.5值从87.67%提升到98.76%，mAP@0.5:0.95值从58.35%提升到68.70%，均方误差从13.26降低到1.44。以上研究结果说明该文的改进方法可以大幅度改善现有模型在复杂跨域场景下的目标检测效果，提高了目标检测和计数的准确率，从而为大规模生猪养殖业生产效率的提高和生产成本的降低提供技术支持。     

基于改进YOLOV5s网络的奶牛多尺度行为识别方法

奶牛站立、喝水、行走、躺卧等日常行为与其生理健康密切相关,高效准确识别奶牛行为对及时掌握奶牛健康状况,提高养殖场经济效益具有重要意义。针对群体养殖环境下奶牛行为数据中,场景复杂、目标尺度变化大、奶牛行为多样等对行为识别造成的干扰,该研究提出一种改进YOLOV5s奶牛多尺度行为识别方法。该方法在骨干网络顶层引入基于通道的Transformer注意力机制使模型关注奶牛目标区域,同时对奶牛多尺度行为目标增加路径聚合结构的支路与检测器获取底层细节特征,并引入SE（Squeeze-and-Excitation Networks）注意力机制优化检测器,构建SEPH（SE Prediction Head）识别重要特征,提高奶牛多尺度行为识别能力。试验验证改进后的奶牛行为识别模型在无权重激增的同时,多尺度目标识别结果的平均精度均值较YOLOV5s提高1.2个百分点,尤其是对奶牛行走识别结果的平均精度4.9个百分点,研究结果为群体养殖环境下,全天实时监测奶牛行为提供参考。     

融合注意力机制的个体猪脸识别

随着机器视觉技术的发展,猪脸识别作为猪只个体识别方法之一受到广泛关注。为了探索非接触式的猪只个体精准识别,该研究通过深度学习模型DenseNet融合CBAM（Convolutional Block Attention Module）,建立改进的DenseNet-CBAM模型对猪脸进行识别。将DenseNet121模型进行精简,然后将CBAM注意力模块嵌入到精简的DenseNet121分类网络之前,以加强对关键特征的提取,实现猪脸图像的分类。以随机采集的1 195张猪脸图像作为数据集对本文模型进行测试。结果表明,DenseNet-CBAM模型对个体猪脸识别的准确率达到99.25%,模型参数量仅为DenseNet121的1/10;与ResNet50、GoogLetNet和MobileNet模型相比,DenseNet-CBAM的识别准确率分别提高了2.18、3.60和23.94个百分点。研究结果可为智能化养殖过程非接触式个体识别提供参考。     

基于自适应注意力机制的复杂场景下牛脸检测算法

牛面部检测与识别是牛场智能化养殖的关键,但由于牧场养殖环境的复杂性,牛脸检测会受到模糊、逆光和遮挡3种常见环境因素的严重干扰。针对此问题,该研究提出一种复杂场景下基于自适应注意力机制的牛脸检测算法,该算法首先针对3种干扰因素分别设计了评价指标,并将3种不同类型的评价指标通过模糊隶属度函数进行归一化,并确定自适应权重系数,真实反映目标所处场景的复杂性;之后,基于YOLOV7-tiny在主干特征提取网络引入一种新型注意力机制CDAA(composite dual-branch adaptive attention),设计通道和空间注意力并行结构,并融合自适应权重系数,有效加强相应注意力分支的权重,提高网络在复杂场景下的特征提取能力,解决复杂场景下网络检测精度差的问题;最后,将图像场景评价指标引入损失函数,对大尺度网格损失函数的权重进行自适应调整,使网络在训练过程中更专注于数量较多的小型目标,从而提升网络整体的检测精度。为检测算法的有效性和实时性,在特定数据集上进行消融试验,并与多种经典检测算法进行对比,并移植至Jetson Xavier NX平台测试。测试结果表明,该算法检测精度达到89.58%,相较于原YOLOV7-tiny网络,牛脸检测精度提高了7.34个百分点。检测速度达到62帧/s,在检测速度几乎不损失的条件下,检测效果优于原网络与对比网络。 研究结果可为复杂场景下的牛脸高效检测提供参考。     

基于改进YOLOv4-Tiny的蓝莓成熟度识别方法

为实现自然环境下蓝莓果实成熟度的精确快速识别,该研究对YOLOv4-Tiny网络结构进行改进,提出一种含有注意力模块的目标检测网络（I-YOLOv4-Tiny）。该检测网络采用CSPDarknet53-Tiny网络模型作为主干网络,将卷积注意力模块（Convolution Block Attention Module,CBAM）加入到YOLOv4-Tiny网络结构的特征金字塔（Feature Pyramid Network,FPN）中,通过对每个通道的特征进行权重分配来学习不同通道间特征的相关性,加强网络结构深层信息的传递,从而降低复杂背景对目标识别的干扰,且该检测网络的网络层数较少,占用内存低,以此提升蓝莓果实检测的精度与速度。对该研究识别方法进行性能评估与对比试验的结果表明,经过训练的I-YOLOv4-Tiny目标检测网络在验证集下的平均精度达到97.30%,能有效地利用自然环境中的彩色图像识别蓝莓果实并检测果实成熟度。对比YOLOv4-Tiny、YOLOv4、SSD-MobileNet、Faster R-CNN目标检测网络,该研究在遮挡与光照不均等复杂场景中,平均精度能达到96.24%。平均检测时间为5.723 ms,可以同时满足蓝莓果实识别精度与速度的需求。I-YOLOv4-Tiny网络结构占用内存仅为24.20 M,为采摘机器人与早期产量预估提供快速精准的目标识别指导。