基于隐马尔科夫模型的深度视频哺乳母猪高危动作识别

哺乳母猪的高危动作和仔猪存活率有密切关系,能直接体现其母性行为能力,而这些高危动作又与其姿态转换的频率、持续时间等密切相关。针对猪舍环境下,环境光线变化、母猪与仔猪黏连、猪体形变等给哺乳母猪姿态转换识别带来的困难。该文以梅花母猪为研究对象,以Kinect2.0采集的深度视频图像为数据源,提出基于Faster R-CNN和隐马尔科夫模型的哺乳母猪姿态转换识别算法,通过FasterR-CNN产生候选区域,并采用维特比算法构建定位管道;利用Otsu分割和形态学处理提取疑似转换片段中母猪躯干部、尾部和身体上下两侧的高度序列,由隐马尔科夫模型识别姿态转换。结果表明,对姿态转换片段识别的精度为93.67%、召回率为87.84%。研究结果可为全天候母猪行为自动识别提供技术参考。     

融合2D-3D卷积特征识别哺乳母猪姿态转换

母猪姿态转换影响仔猪存活率,且动作幅度与持续时间存在差异,准确识别难度大。该研究提出一种融合2D-3D卷积特征的卷积网络(2D+3D-CNet,2D+3D Convolutional Network)识别深度图像母猪姿态转换。以视频段为输入,引入注意力机制SE模块和3D空洞卷积,以提升3D卷积网络姿态转换的时空特征提取能力,用2D卷积提取母猪的空间特征;经特征融合后,动作识别分支输出母猪转换概率,姿态分类分支输出4类姿态概率,结合这两个输出结果识别8类姿态转换,减少了人工标注数据集的工作量;最后设计动作分数,优化母猪姿态转换的时间定位。在测试集上,2D+3D-CNet姿态转换识别精度为97.95%、召回率为91.67%、测试速度为14.39帧/s,精度、召回率和时间定位精度均高于YOWO、FRCNN-HMM和MOC-D方法。该研究结果实现了母猪姿态转换高精度识别。     

基于时空信息融合的母猪哺乳行为识别

及时获取准确的母猪哺乳行为信息对提高猪只集中养殖效益至关重要。本文旨在建立深度学习网络，融合时空信息，实现自动识别母猪哺乳行为。识别过程主要分2个阶段：母猪哺乳区域时空定位和哺乳区域时空信息特征提取、融合及识别。首先将俯拍视频图像序列输入Mask R-CNN，ResNet-101+FPN作为基础网络输出特征图输入区域生成网络，生成母猪检测候选框并分别输入母猪姿态识别分支和关键点检测分支，若母猪姿态被识别为侧卧则利用关键点检测分支输出关键点坐标，确定母猪哺乳区域，实现哺乳行为感兴趣时空区域定位。然后，在感兴趣时空区域中，利用双流卷积网络，进行时间流和空间流特征提取。最后利用串接卷积融合方式，识别序列图像中母猪是否进行哺乳。试验结果显示，用于哺乳区域空间定位的关键点的综合召回率Rk和精准率Pk分别为94.37%和94.53%，母猪哺乳行为识别正确率为97.85%，灵敏度为94.92%，特异度为98.51%。