基于姿态与时序特征的猪只行为识别方法

生猪行为监测是生猪养殖管理过程中的一个重要环节。该研究提出了基于姿态与时序特征的猪只行为识别方法。首先采集和标注猪栏内猪只图像，分别构建了猪只目标检测数据集、猪只关键点数据集和猪只行为识别数据集；利用构建的数据集，分别训练了基于YOLOv5s的猪只检测模型、基于轻量化OpenPose算法的猪只姿态估计模型和基于ST-GCN算法的猪只行为识别模型，并搭建了猪只行为识别系统。经测试，文中训练的YOLOv5s猪只检测模型mAP（mean Average Precision）最高达到0.995，姿态估计模型平均精度和平均召回率达到93%以上，基于ST-GCN的猪只行为识别模型的平均准确率为86.67%。文中构建的猪只行为识别系统中基于LibTorch推理猪只检测模型和猪只姿态估计模型的单帧推理耗时分别约为14和65 ms，单只猪行为识别推理耗时约为8 ms，每提取200帧连续姿态进行一次行为识别推理，平均17 s更新一次行为识别结果。证明提出的基于姿态与时序特征的猪只行为识别方法具有一定可行性，为群养猪场景下的猪只行为识别提供了思路。     

基于多尺度融合注意力机制的群猪检测方法

群猪检测是现代化猪场智慧管理的关键环节。针对群猪计数过程中,小目标或被遮挡的猪只个体易漏检的问题,该研究提出了基于多尺度融合注意力机制的群猪检测方法。首先基于YOLOv7模型构建了群猪目标检测网络YOLOpig,该网络设计了融合注意力机制的小目标尺度检测网络结构,并基于残差思想优化了最大池化卷积模块,实现了对被遮挡与小目标猪只个体的准确检测;其次结合GradCAM算法进行猪只检测信息的特征可视化,验证群猪检测试验特征提取的有效性。最后使用目标跟踪算法StrongSORT实现猪只个体的准确跟踪,为猪只的检测任务提供身份信息。研究以育肥阶段的长白猪为测试对象,基于不同视角采集的视频数据集进行测试,验证了YOLOpig网络结合StongSORT算法的准确性和实时性。试验结果表明,该研究提出的YOLOpig模型精确率、召回率及平均精度分别为90.4%、85.5%和92.4%,相较于基础YOLOv7模型平均精度提高了5.1个百分点,检测速度提升7.14%,比YOLOv5、YOLOv7tiny和YOLOv8n 3种模型的平均精度分别提高了12.1、16.8和5.7个百分点,该文模型可以实现群猪的有...     

基于改进YOLOv4的轻量化菠萝苗心检测算法

当前菠萝催花作业以人工喷洒为主，生产效率低、劳动强度大。菠萝苗心位置的精准识别和定位是实现机械化、智能化菠萝催花的核心问题。该研究在YOLOv4目标识别算法的基础上，选择GhostNet作为主干特征提取网络，构建了一种混合网络模型，并在颈部网络中融合深度可分离卷积与轻量级的注意力模块。改进后的模型相较于YOLOv4模型的总参数量减少70%。与YOLOv4、Faster R-CNN和CenterNet 3个模型进行检测对比试验，结果可得：改进模型在菠萝植株种植密集与稀疏的条件下识别精度分别为94.7%和95.5%，实时识别速度可达27帧/s，每张图像平均检测时间为72 ms，相比常规YOLOv4模型用时缩短23%。总体性能表现均优于对比组的目标检测模型。总的来说，改进模型YOLOv4-GHDW在一定程度上实现了检测速度、识别精度和模型体量三者之间平衡，能够在实际种植环境下对菠萝苗心有较好的识别效果。研究结果可为智能化菠萝精准催花设备研发提供视觉技术支持。     

基于YOLOX-NGS的群养猪只攻击行为识别

为解决复杂猪舍环境下猪只堆叠和粘连导致群养猪只攻击行为识别准确率低和有效性差的问题，该研究提出一种改进的YOLOX模型，引入攻击活动比例（P_AA）和攻击行为比例（P_AB）2个优化指标，对群养猪只的撞击、咬耳和咬尾等典型攻击行为进行识别。首先，为提高模型特征提取能力添加归一化注意力模块获取YOLOX颈部的全局信息；其次，将YOLOX中的IoU损失函数替换为GIoU损失函数，以提升识别精度；最后，为保证模型的实时性将空间金字塔池化结构SPP轻量化为SPPF，增强检测效率。试验结果表明，改进的YOLOX模型平均精度达97.57%，比YOLOX模型提高6.8个百分点。此外，当P_AA和P_AB阈值分别为0.2和0.4时，识别准确率达98.55%，有效解决因猪只攻击行为动作连续导致单帧图像行为识别可信度低的问题。研究结果表明，改进的YOLOX模型融合P_AA和P_AB能够实现高精度的猪只攻击行为识别，为群养生猪智能化监测提供有效参考和技术支持。     

群养猪侵略性行为的深度学习识别方法

为了解决因传统机器视觉和图像处理方法的局限性以及复杂的猪体姿态和猪舍环境导致对群养猪侵略性行为识别的有效性、准确率较低的问题,该文基于深度学习的方法,提出使用3DCONV的群养猪侵略性行为识别算法-3DConvNet。分3个批次采集18头9.6 kg左右的大白仔猪视频图像,选用第一批次中包含28 d内各个时段的撕咬、撞击、追逐、踩踏4大类,咬耳、咬尾、咬身、头撞头、头撞身、追逐以及踩踏7小类侵略性行为以及吃食、饮水、休息等非侵略性行为共计740段(27114帧)视频作为训练集和验证集,训练集和验证集比例为3:1。结果表明,3DConvNet网络模型在训练集上的识别准确度达96.78%,在验证集上识别准确度达95.70%。该文算法模型对于不同训练集批次的猪只以及不良照明条件下依然能准确识别侵略性行为,算法模型泛化性能良好。与C3D模型进行对比,该文提出的网络模型准确率高出43.47个百分点,单帧图像处理时间为0.50 s,可满足实时检测的要求。研究结果可为猪场养殖环境中针对猪只侵略性行为检测提供参考。     

采用改进CenterNet模型检测群养生猪目标

为实现对群养环境下生猪个体目标快速精准的检测,该研究提出了一种针对群养生猪的改进型目标检测网络MF-CenterNet（MobileNet-FPN-CenterNet）模型,为确保目标检测的精确度,该模型首先以无锚式的CenterNet为基础结构,通过引入轻量级的MobileNet网络作为模型特征提取网络,以降低模型大小和提高检测速度,同时加入特征金字塔结构FPN（Feature Pyramid Networks）以提高模型特征提取能力,在保证模型轻量化、实时性的同时,提高遮挡目标和小目标的检测精度。该研究以某商业猪场群养生猪录制视频作为数据源,采集视频帧1 683张,经图像增强后共得到6 732张图像。试验结果表明,MF-CenterNet模型大小仅为21 MB,满足边缘计算端的部署,同时对生猪目标检测平均精确度达到94.30%,检测速度达到69 帧/s,相较于Faster-RCNN、SSD、YOLOv3、YOLOv4目标检测网络模型,检测精度分别提高了6.39%、4.46%、6.01%、2.74%,检测速度分别提高了54、47、45、43 帧/s,相关结果表明了该研究所提出的改进型的轻量级MF-CenterNet模型,能够在满足目标检测实时性的同时提高了对群养生猪的检测精度,为生产现场端的群养生猪行为实时检测与分析提供了有效方法。     

融合重参数化和注意力机制的猪脸关键点检测方法

面部对齐是猪脸识别中至关重要的步骤,而实现面部对齐的必要前提是对面部关键点的精准检测。生猪易动且面部姿态多变,导致猪脸关键点提取不准确,且目前没有准确快捷的猪脸关键点检测方法。针对上述问题,该研究提出了生猪面部关键点精准检测模型YOLO-MOB-DFC,将人脸关键点检测模型YOLOv5Face进行改进并用于猪脸关键点检测。首先,使用重参数化的MobileOne作为骨干网络降低了模型参数量;然后,融合解耦全连接注意力模块捕捉远距离空间位置像素之间的依赖性,使模型能够更多地关注猪面部区域,提升模型的检测性能;最后,采用轻量级上采样算子CARAFE充分感知邻域内聚合的上下文信息,使关键点提取更加准确。结合自建的猪脸数据集进行模型测试,结果表明,YOLO-MOB-DFC的猪脸检测平均精度达到99.0%,检测速度为153帧/s,关键点的标准化平均误差为2.344%。相比RetinaFace模型,平均精度提升了5.43%,模型参数量降低了78.59%,帧率提升了91.25%,标准化平均误差降低了2.774%;相较于YOLOv5s-Face模型,平均精度提高了2.48%,模型参数量降低了18.29%,标准化平均误差降低了0.567%。该文提出的YOLO-MOB-DFC模型参数量较少,连续帧间的标准化平均误差波动更加稳定,削弱了猪脸姿态多变对关键点检测准确性的影响,同时具有较高的检测精度和检测效率,能够满足猪脸数据准确、快速采集的需求,为高质量猪脸开集识别数据集的构建以及非侵入式生猪身份智能识别奠定基础。     

改进YOLOv5s对病理学图像中猪只小肠绒毛的检测

为解决传统小肠绒毛需要专业人员手动检测耗时耗力且存在主观性和不稳定性等问题,同时提高在复杂病理学图像中小肠绒毛检测的准确率和效率,该研究提出基于改进YOLOv5s检测复杂病理学图像下猪只小肠绒毛的方法。首先,采用串联形式的混合池化对空间金字塔进行优化,增强特征提取与特征表达,提升检测精度;然后引入一种基于注意力机制的网络模块(simpleattentionmechanism,SimAM)与Bottleneck中的残差连接相结合,使用SimAM对Bottleneck中的特征图进行加权,得到加权后的特征表示,利用注意力机制加强模型对目标的感知。试验结果表明,该研究算法的平均精度（average precision）和每秒传输帧数（frame per second,FPS）达到92.43%和40帧/s。改进后的YOLOv5s在召回率和平均精度上相较改进前提高2.49和4.62个百分点,在不增加模型参数量的情况下,每帧图片的推理时间缩短1.04 ms。与经典的目标检测算法SSD、Faster R-CNN、YOLOv6s、YOLOX相比,平均精度分别提高15.16、10.56、2.03和4.07...     

改进Faster R-CNN的群养猪只圈内位置识别与应用

群养圈栏内猪只的位置分布是反映其健康福利的重要指标。为解决传统人工观察方式存在的人力耗费大、观察时间长和主观性强等问题,实现群养猪只圈内位置的高效准确获取,该研究以三原色（Red Green Blue,RGB）图像为数据源,提出了改进的快速区域卷积神经网络（Faster Region Convolutional Neural Networks,Faster R-CNN）的群养猪只圈内位置识别算法,将时间序列引入候选框区域算法,设计Faster R-CNN和轻量化CNN网络的混合体,将残差网络（Residual Network,ResNet）作为特征提取卷积层,引入PNPoly算法判断猪只在圈内的所处区域。对育成和育肥2个饲养阶段的3个猪圈进行24 h连续98 d的视频录像,从中随机提取图像25 000张作为训练集、验证集和测试集,经测试该算法识别准确率可达96.7%,识别速度为每帧0.064 s。通过该算法获得了不同猪圈和日龄的猪群位置分布热力图、分布比例和昼夜节律,猪圈饲养面积的增加可使猪群在实体地面的分布比例显著提高（P＜0.05）。该方法可为猪只群体行为实时监测提供技术参考。     

基于空间金字塔池化和深度卷积神经网络的作物害虫识别

为了减少因作物害虫姿态多样性和尺度多样性导致其识别精度相对较低的问题,该文将空间金字塔池化与改进的YOLOv3深度卷积神经网络相结合,提出了一种基于空间金字塔池化的深度卷积神经网络农作物害虫种类识别算法,首先对测试图像上的害虫进行检测定位,然后对检测定位出的害虫进行种类识别。通过改进YOLOv3的网络结构,采用上采样与卷积操作相结合的方法实现反卷积,使算法能够有效地检测到图片中体型较小的作物害虫样本;通过对采集到的实际场景下20类害虫进行识别测试,识别精度均值可达到88.07%。试验结果表明,本文提出的识别算法能够有效地对作物害虫进行检测和种类识别。     

基于头尾定位的群养猪运动轨迹追踪

猪的头/尾位置直观反映了猪的进食、饮水、争斗、追逐等日常活动。从群养猪俯视视频中有效分割粘连的猪个体,找出猪的头/尾部,并以头/尾坐标实现较精准的运动轨迹追踪有着较大的难度。该研究采用改进分水岭分割算法分割视频图像帧中的粘连猪个体;对分割后的猪体提取头/尾轮廓,分别用类Hough聚类和圆度识别算法识别每头猪的头/尾,用运动趋势算法修正头/尾识别的误差,生成以头/尾部为定位坐标的运动轨迹。运算结果和人工标记对比证明类Hough聚类和圆度识别算法的头尾识别正确率分别为71.79%和79.67%;经过运动趋势修正后,以头部为定位坐标生成的运动轨迹与人工标记生成运动轨迹吻合良好;对比头/尾轨迹和质心轨迹可以发现,头/尾轨迹能够更多获取猪个体和群体活动、运动信息。该研究对于实现自动记录和分析猪个体和群体的活动行为提供新的思路和方法。     

基于边界脊线识别的群养猪黏连图像分割方法

猪体图像的前景分割和黏连猪体的分离是实现群养猪数量自动盘点和猪只个体行为智能识别的关键。为实现群养猪黏连图像的自动分割,该文采用决策树分割算法提取视频图像帧的猪体前景区域,计算各连通区域的复杂度,根据复杂度确定黏连猪体区域,利用标记符控制的分水岭分割算法处理黏连猪体图像,检测待选的边界脊线,通过检验待选边界脊线的分割效果和形状特征(包括线性度和Harris拐点数目),识别出猪体黏连分割线,实现黏连猪体的分离。结果表明,决策树分割算法(decision-tree-based segmentation model,DTSM)能够有效地去除复杂背景,前景分割效果良好。黏连猪体分离结果显示,基于边界脊线识别的黏连猪体分离准确率达到了89.4%,并较好地保留了猪体轮廓。通过计算分割后猪体连通区域的中心点,并对中心点进行德洛内剖分,初步实现了猪只的定位和栏内分布的可视化。6 min的监控视频处理结果显示,该文方法各帧图像的盘点平均误差为0.58,盘点准确率为98.33%,能够正确统计出栏内猪只数量。该研究可为实现基于监控视频的群养猪自动盘点和个体行为识别提供新的技术手段。     

基于改进Tiny-YOLO模型的群养生猪脸部姿态检测

生猪脸部包含丰富的生物特征信息,对其脸部姿态的检测可为生猪的个体识别和行为分析提供依据,而在生猪群养场景下,猪舍光照、猪只黏连等复杂因素给生猪脸部姿态检测带来极大挑战。该文以真实养殖场景下的群养生猪为研究对象,以视频帧数据为数据源,提出一种基于注意力机制与Tiny-YOLO相结合的检测模型DAT-YOLO。该模型将通道注意力和空间注意力信息引入特征提取过程中,高阶特征引导低阶特征进行通道注意力信息获取,低阶特征反向指引高阶特征进行空间注意力筛选,可在不显著增加参数量的前提下提升模型特征提取能力、提高检测精度。对5栏日龄20～105d的群养生猪共35头的视频抽取504张图片,共计3712个脸部框,并标注水平正脸、水平侧脸、低头正脸、低头侧脸、抬头正脸和抬头侧脸6类姿态,构建训练集,另取420张图片共计2 106个脸部框作为测试集。试验表明,DAT-YOLO模型在测试集上对群养生猪的水平正脸、水平侧脸、低头正脸、低头侧脸、抬头正脸和抬头侧脸6类姿态预测的AP值分别达到85.54%、79.30%、89.61%、76.12%、79.37%和84.35%,其6类总体m AP值比Tiny-YOLO模型、仅引入通道注意力的CAT-YOLO模型以及仅引入空间注意力的SAT-YOLO模型分别提高8.39%、4.66%和2.95%。为进一步验证注意力在其余模型上的迁移性能,在同等试验条件下,以YOLOV3为基础模型分别引入两类注意力信息构建相应注意力子模型,试验表明,基于Tiny-YOLO的子模型与加入相同模块的YOLOV3子模型相比,总体m AP指标提升0.46%～1.92%。Tiny-YOLO和YOLOV3系列模型在加入注意力信息后检测性能均有不同幅度提升,表明注意力机制有利于精确、有效地对群养生猪不同类别脸部姿态进行检测,可为后续生猪个体识别和行为分析提供参考。     

基于特征递归融合YOLOv4网络模型的春见柑橘检测与计数

春见柑橘个体小、单株果树柑橘密集、柑橘之间的形态与颜色相似度高且易被树叶严重遮挡,这些特点给春见柑橘检测与计数带来了较大困难。该研究以实际春见果园环境中的春见柑橘作为检测与计数对象,提出了一种以春见柑橘为检测目标的基于特征递归融合YOLOv4网络模型（YOLOv4 network model with recursive fusion of features,FR-YOLOv4）。针对春见柑橘尺寸小的特点,FR-YOLOv4网络模型的主干特征提取网络采用了感受野更小的CSPResNest50网络,降低了小尺寸目标的特征图传不到目标检测器中的可能性;针对春见柑橘被遮挡和密集分布的情况,采用了递归特征金字塔（Recursive Feature Pyramid,RFP）网络来进行特征递归融合,提高了对果园环境下春见柑橘的检测精度。试验结果表明：FR-YOLOv4网络模型对于果园环境中春见柑橘的平均检测精度为94.6%,视频检测帧率为51帧/s。FR-YOLOv4网络模型相比于YOLOv4、单次多框检测器（Single Shot Multi-Box Detector,SSD）、CenterNet和更快速卷积神经网络（Faster- Region-Convolutional Neural Networks,Faster R-CNN）的平均检测精度分别提高了8.9、29.3、14.1和16.2个百分点,视频检测帧率分别比SSD、Faster R-CNN提高了17帧/s和33帧/s。FR-YOLOv4网络模型对于实际果园环境中春见柑橘的检测精度高,具备检测实时性,适用于春见果园中春见柑橘检测与计数。     

基于隐马尔科夫模型的深度视频哺乳母猪高危动作识别

哺乳母猪的高危动作和仔猪存活率有密切关系,能直接体现其母性行为能力,而这些高危动作又与其姿态转换的频率、持续时间等密切相关。针对猪舍环境下,环境光线变化、母猪与仔猪黏连、猪体形变等给哺乳母猪姿态转换识别带来的困难。该文以梅花母猪为研究对象,以Kinect2.0采集的深度视频图像为数据源,提出基于Faster R-CNN和隐马尔科夫模型的哺乳母猪姿态转换识别算法,通过FasterR-CNN产生候选区域,并采用维特比算法构建定位管道;利用Otsu分割和形态学处理提取疑似转换片段中母猪躯干部、尾部和身体上下两侧的高度序列,由隐马尔科夫模型识别姿态转换。结果表明,对姿态转换片段识别的精度为93.67%、召回率为87.84%。研究结果可为全天候母猪行为自动识别提供技术参考。