基于全卷积网络的哺乳母猪图像分割

猪舍场景下,光照变化、母猪体表颜色不均及与环境颜色对比度不大、母猪与仔猪的粘连等,均给目标分割带来很大的困难。该文提出了基于全卷积网络(FCN,fully convolutional networks)的哺乳母猪图像分割算法。以VGG16为基础网络,采用融合深层抽象特征与浅层细节特征并将融合的特征图上采样8倍的跳跃式结构,设计哺乳母猪分割的FCN。利用Caffe深度学习框架,以7栏伴有不同日龄仔猪的3811幅哺乳母猪训练样本进行母猪分割FCN训练,在另外21栏的523幅哺乳母猪测试集上的分割结果表明:该算法可有效避免光线变化、母猪颜色不均、小猪遮挡与粘连等影响,实现完整的哺乳母猪区域分割;分割的平均准确率达到99.28%,平均区域重合度达到95.16%,平均速度达到0.22 s/幅。与深度卷积网络的SDS(simultaneous detection and segmentation)及传统的基于图论的图像分割、基于水平集的图像分割方法做了对比试验,该文分割方法平均区域重合度分别比这3种方法高出9.99、31.96和26.44个百分点,有较好的泛化性和鲁棒性,实现了猪舍场景下哺乳母猪准确、快速分割,可为猪只图像分割提供了技术参考。     

基于多尺度融合注意力机制的群猪检测方法

群猪检测是现代化猪场智慧管理的关键环节。针对群猪计数过程中,小目标或被遮挡的猪只个体易漏检的问题,研究提出了基于多尺度融合注意力机制的群猪检测方法,首先基于YOLOv7模型构建了群猪目标检测网络YOLOpig,该网络设计了融合注意力机制的小目标尺度检测网络结构,并基于残差思想优化了最大池化卷积模块,实现了对被遮挡与小目标猪只个体的准确检测;其次结合GradCAM算法进行猪只检测信息的特征可视化,验证群猪检测试验特征提取的有效性。最后使用目标跟踪算法StrongSORT实现猪只个体的准确跟踪,为猪只的检测任务提供身份信息。研究以育肥阶段的长白猪为测试对象,基于不同视角采集的视频数据集进行测试,验证了YOLOpig网络结合StongSORT算法的准确性和实时性。试验结果表明,该研究提出的YOLOpig模型精确率、召回率及平均精度分别为90.4%、85.5%和92.4%,相较于基础YOLOv7模型平均精度提高了5.1个百分点,检测速度提升7.14%,比YOLOv5、YOLOv7tiny和 YOLOv8n 3种模型的平均精度分别提高了12.1、16.8和5.7个百分点,验证该文模型可以实现群猪的有效检测,满足养殖场管理需要。     

改进TransTrack多目标生猪行为跟踪方法

高效准确地监测群养生猪的行为变化以获取其生理、健康和福利状况，对于实现生猪智能精细化养殖具有重要意义。针对猪场自然场景下光照变化和猪只粘连遮挡等因素影响，使得猪只行为跟踪中存在误检、漏检和身份频繁错误变换问题，该研究提出一种改进的TransTrack多目标生猪行为跟踪方法。首先，在目标检测模块中，采用改进的并集交并比的匹配算法，去除猪只遮挡导致的目标误检检测框。然后，在跟踪模块中，根据高低匹配阈值进行2次数据关联，提高光照变化下漏检目标的跟踪准确性。最后，针对误检与漏检导致跟踪中猪只身份错误变换，根据猪栏中猪只数量信息，限制猪只身份编号值的错误增加，提高猪只身份准确识别率。在公开数据集和私有数据集上的试验结果表明，改进的TransTrack在多目标跟踪准确率（multiple object tracking accuracy,MOTA），高阶跟踪准确率（higher order tracking accuracy, HOTA）和身份变换（identityswitches, IDs）分别为92.0%、 69.8%和210。在公开数据集中，对比Trackformer,JDE和TransTr...     

深度学习在猪只饲养过程的应用研究进展

随着人工智能技术的兴起,深度学习技术发展迅猛,在图像及音频识别、自然语言处理、机器人技术、生物信息学、化学和金融等领域中应用广泛,也是目前发展精细畜牧业重要工具。养猪业是中国的重要农业产业,生猪的体况、行为及健康状况直接影响猪场的收入水平,通过深度学习技术可以快速、准确地了解猪只的相关信息并进行精确管理,提高猪只饲养效率及动物福利水平。该研究阐述了深度学习在目标猪只检测、猪只图像分割、猪只体况及异常监测、猪只行为识别上的应用现状,提出了深度学习技术在猪只饲养过程中的改进策略,以方便研究人员快速了解其研究进展。同时总结和分析了深度学习技术在猪只饲养过程中关于数据来源及数据集、应用范围、模型优化的不足与展望,提出应建立适用于猪只领域的公共数据集和统一的数据集标准,扩大深度学习的应用范围,优化DL模型以满足实际任务需求,将深度学习应用于猪场生产实践中。该研究旨为提高猪只福利化养殖和猪场经济效益提供依据,以推动深度学习在猪只饲养过程中应用的进一步发展。     

基于红外热成像的夜间农田实时语义分割

农田环境实时语义分割是构成智能农机的视觉环境感知的重要环节，夜间农田语义分割可以使智能农机在夜间通过视觉感知农田环境进行全天候作业，而夜间无光环境下，可见光摄像头成像效果较差，将造成语义分割精度的下降。为保证夜间农田环境下红外图像语义分割的精度与实时性，该研究提出了一种适用于红外图像的红外实时双边语义分割网络（Infrared Real-time Bilateral Semantic Segmentation Network，IR-BiSeNet），根据红外图像分辨率低，细节模糊的特点该网络在实时双边语义分割网络（Bilateral Semantic Segmentation Net，BiSeNet）结构基础上进行改进，在其空间路径上，进一步融合红外图像低层特征，在该网络构架中的注意力提升模块、特征融合模块上使用全局最大池化层替换全局平均池化层以保留红外图像纹理细节信息。为验证提出方法的有效性，通过在夜间使用红外热成像采集的农田数据集上进行试验，数据集分割目标包括田地、行人、植物、障碍物、背景。经试验验证，提出方法在夜间农田红外数据集上达到了85.1%的平均交并比（Mean Intersection over Union，MIoU），同时达到40帧/s的处理速度，满足对夜间农田的实时语义分割。     

群养猪侵略性行为的深度学习识别方法

为了解决因传统机器视觉和图像处理方法的局限性以及复杂的猪体姿态和猪舍环境导致对群养猪侵略性行为识别的有效性、准确率较低的问题,该文基于深度学习的方法,提出使用3DCONV的群养猪侵略性行为识别算法-3DConvNet。分3个批次采集18头9.6 kg左右的大白仔猪视频图像,选用第一批次中包含28 d内各个时段的撕咬、撞击、追逐、踩踏4大类,咬耳、咬尾、咬身、头撞头、头撞身、追逐以及踩踏7小类侵略性行为以及吃食、饮水、休息等非侵略性行为共计740段(27114帧)视频作为训练集和验证集,训练集和验证集比例为3:1。结果表明,3DConvNet网络模型在训练集上的识别准确度达96.78%,在验证集上识别准确度达95.70%。该文算法模型对于不同训练集批次的猪只以及不良照明条件下依然能准确识别侵略性行为,算法模型泛化性能良好。与C3D模型进行对比,该文提出的网络模型准确率高出43.47个百分点,单帧图像处理时间为0.50 s,可满足实时检测的要求。研究结果可为猪场养殖环境中针对猪只侵略性行为检测提供参考。     

基于自注意力机制与无锚点的仔猪姿态识别

在猪场养殖过程中,仔猪姿态识别对其健康状况和环境热舒适度监测都有着重要意义。仔猪个体较小,喜欢聚集、扎堆,且姿态随意性较大,给姿态识别带来困难。为此,该文结合Transformer网络与无锚点目标检测头,提出了一种新的仔猪姿态识别模型TransFree（Transformer + Anchor-Free）。该模型使用Swin Transformer作为基础网络,提取仔猪图像的局部和全局特征,然后经过一个特征增强模块（Feature Enhancement Module,FEM）进行多尺度特征融合并得到高分辨率的特征图,最后将融合后的特征图输入Anchor-Free检测头进行仔猪的定位和姿态识别。该文以广东佛山市某商业猪场拍摄的视频作为数据源,从12个猪栏的拍摄视频中选取9栏作为训练集,3栏作为测试集,训练集中仔猪的俯卧、侧卧和站立3类姿态总计19 929个样本,测试集中3类姿态总计5 150个样本。在测试集上,TransFree模型的仔猪姿态识别精度达到95.68%,召回率达到91.18%,F1-score达到93.38%;相较于CenterNet、Faster R-CNN和YOLOX-L目标检测网络,F1-score分别提高了2.32、4.07和2.26个百分点。该文提出的TransFree模型实现了仔猪姿态的高精度识别,为仔猪行为识别提供了技术参考。     

基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别

疏果前期苹果背景复杂、光照条件变化、重叠及被遮挡,特别是果实与背景叶片颜色极为相近等因素,给其目标识别带来很大困难。为识别疏果前期的苹果目标,提出基于区域的全卷积网络(region-based fully convolutional network,R-FCN)的苹果目标识别方法。该方法在研究基于ResNet-50和ResNet-101的R-FCN结构及识别结果的基础上,改进设计了基于ResNet-44的R-FCN,以提高识别精度并简化网络。该网络主要由ResNet-44全卷积网络、区域生成网络(RegionProposal Network, RPN)及感兴趣区域(Region of Interest, RoI)子网构成。ResNet-44全卷积网络为基础网络,用以提取图像的特征,RPN根据提取的特征生成Ro I,然后Ro I子网根据ResNet-44提取的特征及RPN输出的Ro I进行苹果目标的识别与定位。对采集的图像扩容后,随机选取23 591幅图像作为训练集,4 739幅图像作为验证集,对网络进行训练及参数优化。该文提出的改进模型在332幅图像组成的测试集上的试验结果表明,该方法可有效地识别出重叠、被枝叶遮挡、模糊及表面有阴影的苹果目标,识别的召回率为85.7%,识别的准确率为95.1%,误识率为4.9%,平均速度为0.187 s/幅。通过与其他3种方法进行对比试验,该文方法比FasterR-CNN、基于ResNet-50和ResNet-101的R-FCN的F1值分别提高16.4、0.7和0.7个百分点,识别速度比基于ResNet-50和ResNet-101的R-FCN分别提高了0.010和0.041 s。该方法可实现传统方法难以实现的疏果前苹果目标的识别,也可广泛应用于其他与背景颜色相近的小目标识别中。     

采用双重注意力特征金字塔网络检测群养生猪

为解决复杂环境下,猪只粘连和猪栏遮挡等因素给生猪个体多目标实例检测带来的困难,该研究以群养猪圈场景下8栏(日龄20～105 d)共计45头生猪为研究对象,以视频为数据源,采用平视视角、镜头位置不固定的数据采集方式,共获得标注图像3 834张,并将其划分为训练集2 490张、验证集480张、测试集864张。引入一种融合通道注意力(Channel Attention Unit,CAU)与空间注意力(Position Attention Unit,PAU)的双重注意力单元(Dual Attention Unit,DAU),并将DAU用于特征金字塔网络(Feature Pyramid Network,FPN)结构中,研究基于两大骨干网络ResNet50、ResNet101与4个任务网络Mask R-CNN、Cascade Mask R-CNN、MS R-CNN及HTC(Hybrid Task Cascade)交叉结合模型对群养生猪实例检测性能。结果表明:与CBAM、BAM、SCSE等注意力模块相比,HTC-R101-DAU比HTC-R101-CBAM在IOU阈值为0.5、0.75、0.5～0.95(所有目标)、0.5～0.95(大目标)条件下的4种AP(Average Precision)指标分别提升1.7%、1.7%、2.1%与1.8%;单独加入CAU与PAU以分别探究通道与空间注意力单元对任务网络检测性能影响,试验结果表明,DAU与CAU及PAU相比性能更佳,且加入特定串联数量的PAU效果优于CAU;为获取更为丰富的上下文信息,分别串联1～4个PAU单元以构建不同空间注意力模块,试验结果表明,随着串联PAU单元数量的增加,相同任务网络其预测AP指标值先增加后减小。综合分析,HTC-R101-DAU模型可更为精确、有效地对不同场景生猪进行实例检测,可为后续生猪个体深度研究奠定基础。     

改进Faster R-CNN的群养猪只圈内位置识别与应用

群养圈栏内猪只的位置分布是反映其健康福利的重要指标。为解决传统人工观察方式存在的人力耗费大、观察时间长和主观性强等问题，实现群养猪只圈内位置的高效准确获取，该研究以三原色（Red Green Blue，RGB）图像为数据源，提出了改进的快速区域卷积神经网络（Faster Region Convolutional Neural Networks，Faster R-CNN）的群养猪只圈内位置识别算法，将时间序列引入候选框区域算法，设计Faster R-CNN和轻量化CNN网络的混合体，将残差网络（Residual Network，ResNet）作为特征提取卷积层，引入PNPoly算法判断猪只在圈内的所处区域。对育成和育肥2个饲养阶段的3个猪圈进行24 h连续98 d的视频录像，从中随机提取图像25 000张作为训练集、验证集和测试集，经测试该算法识别准确率可达96.7%，识别速度为每帧0.064 s。通过该算法获得了不同猪圈和日龄的猪群位置分布热力图、分布比例和昼夜节律，猪圈饲养面积的增加可使猪群在实体地面的分布比例显著提高（P＜0.05）。该方法可为猪只群体行为实时监测提供技术参考。     

基于边界脊线识别的群养猪黏连图像分割方法

猪体图像的前景分割和黏连猪体的分离是实现群养猪数量自动盘点和猪只个体行为智能识别的关键。为实现群养猪黏连图像的自动分割,该文采用决策树分割算法提取视频图像帧的猪体前景区域,计算各连通区域的复杂度,根据复杂度确定黏连猪体区域,利用标记符控制的分水岭分割算法处理黏连猪体图像,检测待选的边界脊线,通过检验待选边界脊线的分割效果和形状特征(包括线性度和Harris拐点数目),识别出猪体黏连分割线,实现黏连猪体的分离。结果表明,决策树分割算法(decision-tree-based segmentation model,DTSM)能够有效地去除复杂背景,前景分割效果良好。黏连猪体分离结果显示,基于边界脊线识别的黏连猪体分离准确率达到了89.4%,并较好地保留了猪体轮廓。通过计算分割后猪体连通区域的中心点,并对中心点进行德洛内剖分,初步实现了猪只的定位和栏内分布的可视化。6 min的监控视频处理结果显示,该文方法各帧图像的盘点平均误差为0.58,盘点准确率为98.33%,能够正确统计出栏内猪只数量。该研究可为实现基于监控视频的群养猪自动盘点和个体行为识别提供新的技术手段。     

基于改进Cascade Mask R-CNN与协同注意力机制的群猪姿态识别

猪体姿态识别有助于实现猪只健康状况预警、预防猪病爆发,是当前研究热点。针对复杂场景下群猪容易相互遮挡、粘连,姿态识别困难的问题,该研究提出一种实例分割与协同注意力机制相结合的两阶段群猪姿态识别方法。首先,以Cascade Mask R-CNN作为基准网络,结合HrNetV2和FPN模块构建猪体检测与分割模型,解决猪体相互遮挡、粘连等问题,实现复杂环境下群猪图像的高精度检测与分割;在上述提取单只猪基础上,构建了基于协同注意力机制(coordinate attention,CA)的轻量级猪体姿态识别模型(CA-MobileNetV3),实现猪体姿态的精准快速识别。最后,在自标注数据集上的试验结果表明,在猪体分割与检测环节,该研究所提模型与MaskR-CNN、MSR-CNN模型相比,在AP_0.50、AP_0.75、AP_0.50:0.95和AP_{0.5:0.95-large}指标上最多提升了1.3、1.5、6.9和8.8个百分点,表现出最优的分割与检测性能。而在猪体姿态识别环节,所提CA-MobileNetV3模...     

采用改进CenterNet模型检测群养生猪目标

为实现对群养环境下生猪个体目标快速精准的检测,该研究提出了一种针对群养生猪的改进型目标检测网络MF-CenterNet（MobileNet-FPN-CenterNet）模型,为确保目标检测的精确度,该模型首先以无锚式的CenterNet为基础结构,通过引入轻量级的MobileNet网络作为模型特征提取网络,以降低模型大小和提高检测速度,同时加入特征金字塔结构FPN（Feature Pyramid Networks）以提高模型特征提取能力,在保证模型轻量化、实时性的同时,提高遮挡目标和小目标的检测精度。该研究以某商业猪场群养生猪录制视频作为数据源,采集视频帧1 683张,经图像增强后共得到6 732张图像。试验结果表明,MF-CenterNet模型大小仅为21 MB,满足边缘计算端的部署,同时对生猪目标检测平均精确度达到94.30%,检测速度达到69 帧/s,相较于Faster-RCNN、SSD、YOLOv3、YOLOv4目标检测网络模型,检测精度分别提高了6.39%、4.46%、6.01%、2.74%,检测速度分别提高了54、47、45、43 帧/s,相关结果表明了该研究所提出的改进型的轻量级MF-CenterNet模型,能够在满足目标检测实时性的同时提高了对群养生猪的检测精度,为生产现场端的群养生猪行为实时检测与分析提供了有效方法。     

融合注意力机制的个体猪脸识别

随着机器视觉技术的发展,猪脸识别作为猪只个体识别方法之一受到广泛关注。为了探索非接触式的猪只个体精准识别,该研究通过深度学习模型DenseNet融合CBAM（Convolutional Block Attention Module）,建立改进的DenseNet-CBAM模型对猪脸进行识别。将DenseNet121模型进行精简,然后将CBAM注意力模块嵌入到精简的DenseNet121分类网络之前,以加强对关键特征的提取,实现猪脸图像的分类。以随机采集的1 195张猪脸图像作为数据集对本文模型进行测试。结果表明,DenseNet-CBAM模型对个体猪脸识别的准确率达到99.25%,模型参数量仅为DenseNet121的1/10;与ResNet50、GoogLetNet和MobileNet模型相比,DenseNet-CBAM的识别准确率分别提高了2.18、3.60和23.94个百分点。研究结果可为智能化养殖过程非接触式个体识别提供参考。     

基于Landsat TM影像的半干旱牧区天然打草场面积的遥感监测

天然打草场是中国草地畜牧业的物质基础,也是中国内陆的生态屏障。目前中国打草场分布状况、分布面积、产量高低等信息十分缺乏,严重制约饲草储备和救灾应急功能发挥。为解决这些问题,该文基于2009－2011年的Landsat TM5影像数据,并借助野外调查点和目视解译方法对中国半干旱牧区天然打草场状况进行监测分析。结果表明,中国半干旱牧区天然打草场面积达800.35万hm2,目视解译结果的平均解译精度达到76.78%。其中,内蒙古天然打草场面积居首位,面积为688.04万hm2,其次是松嫩平原草原区,打草场面积为91.80万hm2,河北半干旱农牧交错区的打草场面积最小,为20.51万hm2。在内蒙古,呼伦贝尔草甸草原天然打草场约为180.89万hm2,科尔沁沙化草原天然打草场约为96.44万hm2,锡林郭勒典型草原天然打草场面积约为395.40万hm2。研究区天然打草场的植被类型以温性草原类、温性草甸类、低地草甸类为主,少量分布在山地草甸类和温性荒漠草原类。该研究结果可为进一步分析全国半干旱区域打草场变化提供数据支撑。     

改进帧间差分-深度学习识别群养猪只典型行为

群养猪行为是评估猪群对环境适应性的重要指标。猪场环境中，猪只行为识别易受不同光线和猪只粘连等因素影响，为提高群养猪只行为识别精度与效率，该研究提出一种基于改进帧间差分-深度学习的群养猪只饮食、躺卧、站立和打斗等典型行为识别方法。该研究以18只50～115日龄长白猪为研究对象，采集视频帧1 117张，经图像增强共得到4 468张图像作为数据集。首先，选取Faster R-CNN、SSD、Retinanet、Detection Transformer和YOLOv5五种典型深度学习模型进行姿态检测研究，通过对比分析，确定了最优姿态检测模型；然后，对传统帧间差分法进行了改进，改进后帧间差分法能有效提取猪只完整的活动像素特征，使检测结果接近实际运动猪只目标；最后，引入打斗活动比例（Proportion of Fighting Activities, PFA）和打斗行为比例（Proportion of Fighting Behavior, PFB）2个指标优化猪只打斗行为识别模型，并对模型进行评价，确定最优行为模型。经测试，YOLOv5对群养猪只典型姿态检测平均精度均值达93.80%，模型大小为14.40 MB，检测速度为32.00帧/s，检测速度满足姿态实时检测需求，与Faster R-CNN、SSD、Retinanet和Detection Transformer模型相比，YOLOv5平均精度均值分别提高了1.10、3.23、4.15和21.20个百分点，模型大小分别减小了87.31%、85.09%、90.15%和97.10%。同时，当两个优化指标PFA和PFB分别设置为10%和40%时，猪只典型行为识别结果最佳，识别准确率均值为94.45%。结果表明，该方法具有准确率高、模型小和识别速度快等优点。该研究为群养猪只典型行为精准高效识别提供方法参考。     

基于机器视觉的育肥猪分群系统设计与试验

为控制育肥猪出栏时的体质量差异,该研究开发了一套基于机器视觉技术的育肥猪分群系统,该系统通过机器视觉技术和卷积神经网络模型代替传统地磅对猪只体质量进行估测,可有效避免粪污对设备精度的影响及腐蚀;以前一天全部猪只体质量数据从小到大排列的第30%个数据作为当日的分群基准质量,将大于等于基准质量的视为长势较快的猪只,小于基准质量的视为长势较慢的猪只,每次采食按照猪只长势快慢分为2群进行饲喂;该系统依托于LabVIEW软件开发平台和物联网系统构建,平均每头猪只通过系统时间为6.2 s。为验证该系统的实际应用效果开展了为期30 d的现场试验,将饲喂于装有分群系统猪栏中的120头长白育肥猪作为试验组,由分群系统按猪只长势快慢分群饲喂;将饲喂于传统猪栏中的120头长白育肥猪作为对照组,按照传统人工调栏的方式进行饲喂。试验开始时试验组和对照组猪只平均体质量分别为32.21、31.76 kg,标准差分为别2.61和2.49 kg;结束时试验组和对照组猪只平均体质量分别为57.68、57.41 kg,标准差分为别5.26和5.51 kg,总料肉比分别为2.31和2.34,期间试验组猪只体质量的标准差小于对照组,但是2组猪只平均体质量、标准差、总料肉比均不存在显著差异,表明采用该系统对猪只进行分群饲喂控制猪只体质量差异效果等同于人工调栏,同时可以节省人力成本,缓解农业劳动力短缺的压力。该研究也可为母猪饲喂站、种猪测定站等智能化养猪设备的研发提供参考。