基于时空信息融合的母猪哺乳行为识别

及时获取准确的母猪哺乳行为信息对提高猪只集中养殖效益至关重要。本文旨在建立深度学习网络，融合时空信息，实现自动识别母猪哺乳行为。识别过程主要分2个阶段：母猪哺乳区域时空定位和哺乳区域时空信息特征提取、融合及识别。首先将俯拍视频图像序列输入Mask R-CNN，ResNet-101+FPN作为基础网络输出特征图输入区域生成网络，生成母猪检测候选框并分别输入母猪姿态识别分支和关键点检测分支，若母猪姿态被识别为侧卧则利用关键点检测分支输出关键点坐标，确定母猪哺乳区域，实现哺乳行为感兴趣时空区域定位。然后，在感兴趣时空区域中，利用双流卷积网络，进行时间流和空间流特征提取。最后利用串接卷积融合方式，识别序列图像中母猪是否进行哺乳。试验结果显示，用于哺乳区域空间定位的关键点的综合召回率Rk和精准率Pk分别为94.37%和94.53%，母猪哺乳行为识别正确率为97.85%，灵敏度为94.92%，特异度为98.51%。