基于隐马尔科夫模型的深度视频哺乳母猪高危动作识别

哺乳母猪的高危动作和仔猪存活率有密切关系,能直接体现其母性行为能力,而这些高危动作又与其姿态转换的频率、持续时间等密切相关。针对猪舍环境下,环境光线变化、母猪与仔猪黏连、猪体形变等给哺乳母猪姿态转换识别带来的困难。该文以梅花母猪为研究对象,以Kinect2.0采集的深度视频图像为数据源,提出基于Faster R-CNN和隐马尔科夫模型的哺乳母猪姿态转换识别算法,通过FasterR-CNN产生候选区域,并采用维特比算法构建定位管道;利用Otsu分割和形态学处理提取疑似转换片段中母猪躯干部、尾部和身体上下两侧的高度序列,由隐马尔科夫模型识别姿态转换。结果表明,对姿态转换片段识别的精度为93.67%、召回率为87.84%。研究结果可为全天候母猪行为自动识别提供技术参考。     

融合动态机制的改进型Faster R-CNN识别田间棉花顶芽

针对田间密植环境棉花精准打顶时,棉花顶芽因其小体积特性所带来识别困难问题,该研究提出一种改进型快速区域卷积神经网络（Faster Region Convolutional Neural Networks,Faster R-CNN）目标检测算法实现大田环境棉花顶芽识别。以Faster R-CNN为基础框架,使用 RegNetX-6.4GF作为主干网络,以提高图像特征获取性能。将特征金字塔网络（Feature Pyramid Network,FPN）和导向锚框定位（Guided Anchoring,GA）机制相融合,实现锚框（Anchor）动态自适应生成。通过融合动态区域卷积神经网络（Dynamic Region Convolutional Neural Networks,Dynamic R-CNN）,实现训练阶段检测模型自适应候选区域（Proposal）分布的动态变化。最后在目标候选区域（Region of Interest,ROI）中引入目标候选区域提取器（Generic ROI Extractor,GROIE）提高图像特征融合能力。采集自然环境下7种不同棉花总计4 819张图片,建立微软常见物体图像识别库2017（Microsoft Common Objects in Context 2017,MS COCO 2017）格式的棉花顶芽图片数据集进行试验。结果表明,该研究提出方法的平均准确率均值（Mean Average Precision,MAP）为98.1%,模型的处理帧速（Frames Per Second,FPS）为10.3帧/s。其MAP在交并比（Intersection Over Union,IOU）为0.5时较Faster R-CNN、RetinaNet、Cascade R-CNN和RepPoints网络分别提高7.3%、78.9%、10.1%和8.3%。该研究算法在田间对于棉花顶芽识别具有较高的鲁棒性和精确度,为棉花精准打顶作业奠定基础。     

融合FPN的Faster R-CNN复杂背景下棉田杂草高效识别方法

为实现田间条件下快速、准确识别棉花与杂草,该文以自然光照下田间棉花与杂草为研究对象,采用垂直向下拍摄的方式获取棉花杂草视频,按1帧/s的速率从视频中提取图像,在人工去除冗余度过多的图片后,建立1 000幅图片的数据集。对比了Faster R-CNN和YOLOv3 2种典型卷积神经网络,将Faster R-CNN卷积神经网络的深度学习模型引入到棉花杂草图像识别中,并提出一种结构优化的方法,使之适用于复杂背景下的棉田杂草识别。该文选用残差卷积网络提取图像特征,Max-pooling 为下采样方法,RPN网络中引入特征金字塔网络生成目标候选框,对卷积神经网络结构进行优化。在使用700幅图片进行训练后,通过200 幅田间棉花杂草图像识别测试,结果表明：该方法的平均目标识别准确率达95.5%,识别单幅图像的平均耗时为1.51 s,采用GPU 硬件加速后识别单幅图像的平均耗时缩短为0.09 s。优化后的Faster R-CNN卷积神经网络相对于YOLOv3平均正确率MAP高0.3以上。特别是对于小目标对象,其平均正确率之差接近0.6。所提方法对复杂背景下棉花杂草有较好的检测效果,可为精确除草提供参考。     

改进Faster R-CNN的群养猪只圈内位置识别与应用

群养圈栏内猪只的位置分布是反映其健康福利的重要指标。为解决传统人工观察方式存在的人力耗费大、观察时间长和主观性强等问题,实现群养猪只圈内位置的高效准确获取,该研究以三原色(Red Green Blue,RGB)图像为数据源,提出了改进的快速区域卷积神经网络(Faster Region Convolutional Neural Networks,Faster R-CNN)的群养猪只圈内位置识别算法,将时间序列引入候选框区域算法,设计Faster R-CNN和轻量化CNN网络的混合体,将残差网络(Residual Network,ResNet)作为特征提取卷积层,引入PNPoly算法判断猪只在圈内的所处区域。对育成和育肥2个饲养阶段的3个猪圈进行24 h连续98 d的视频录像,从中随机提取图像25 000张作为训练集、验证集和测试集,经测试该算法识别准确率可达96.7%,识别速度为每帧0.064s。通过该算法获得了不同猪圈和日龄的猪群位置分布热力图、分布比例和昼夜节律,猪圈饲养面积的增加可使猪群在实体地面的分布比例显著提高(P<0.05)。该方法可为猪只群体行为实时监测提供技术参考。     

基于改进Cascade Mask R-CNN与协同注意力机制的群猪姿态识别

猪体姿态识别有助于实现猪只健康状况预警、预防猪病爆发,是当前研究热点。针对复杂场景下群猪容易相互遮挡、粘连,姿态识别困难的问题,该研究提出一种实例分割与协同注意力机制相结合的两阶段群猪姿态识别方法。首先,以Cascade Mask R-CNN作为基准网络,结合HrNetV2和FPN模块构建猪体检测与分割模型,解决猪体相互遮挡、粘连等问题,实现复杂环境下群猪图像的高精度检测与分割;在上述提取单只猪基础上,构建了基于协同注意力机制（coordinate attention,CA）的轻量级猪体姿态识别模型（CA?MobileNetV3）,实现猪体姿态的精准快速识别。最后,在自标注数据集上的试验结果表明,在猪体分割与检测环节,该研究所提模型与Mask R-CNN、MS R-CNN模型相比,在AP0.50、AP0.75、AP0.50:0.95和AP0.5:0.95-large 指标上最多提升了1.3、1.5、6.9和8.8个百分点,表现出最优的分割与检测性能。而在猪体姿态识别环节,所提CA?MobileNetV3模型在跪立、站立、躺卧、坐立4种姿态类上的准确率分别为96.5%、99.3%、98.5%和98.7%,其性能优于主流的MobileNetV3、ResNet50、DenseNet121和VGG16模型,由此可知,该研究模型在复杂环境下群猪姿态识别具有良好的准确性和有效性,为实现猪体姿态的精准快速识别提供方法支撑。     

基于全卷积网络的哺乳母猪图像分割

猪舍场景下,光照变化、母猪体表颜色不均及与环境颜色对比度不大、母猪与仔猪的粘连等,均给目标分割带来很大的困难。该文提出了基于全卷积网络(FCN,fully convolutional networks)的哺乳母猪图像分割算法。以VGG16为基础网络,采用融合深层抽象特征与浅层细节特征并将融合的特征图上采样8倍的跳跃式结构,设计哺乳母猪分割的FCN。利用Caffe深度学习框架,以7栏伴有不同日龄仔猪的3811幅哺乳母猪训练样本进行母猪分割FCN训练,在另外21栏的523幅哺乳母猪测试集上的分割结果表明:该算法可有效避免光线变化、母猪颜色不均、小猪遮挡与粘连等影响,实现完整的哺乳母猪区域分割;分割的平均准确率达到99.28%,平均区域重合度达到95.16%,平均速度达到0.22 s/幅。与深度卷积网络的SDS(simultaneous detection and segmentation)及传统的基于图论的图像分割、基于水平集的图像分割方法做了对比试验,该文分割方法平均区域重合度分别比这3种方法高出9.99、31.96和26.44个百分点,有较好的泛化性和鲁棒性,实现了猪舍场景下哺乳母猪准确、快速分割,可为猪只图像分割提供了技术参考。     

融合2D-3D卷积特征识别哺乳母猪姿态转换

母猪姿态转换影响仔猪存活率,且动作幅度与持续时间存在差异,准确识别难度大。该研究提出一种融合2D-3D卷积特征的卷积网络（2D+3D-CNet,2D+3D Convolutional Network）识别深度图像母猪姿态转换。以视频段为输入,引入注意力机制SE模块和3D空洞卷积,以提升3D卷积网络姿态转换的时空特征提取能力,用2D卷积提取母猪的空间特征;经特征融合后,动作识别分支输出母猪转换概率,姿态分类分支输出4类姿态概率,结合这两个输出结果识别8类姿态转换,减少了人工标注数据集的工作量;最后设计动作分数,优化母猪姿态转换的时间定位。在测试集上,2D+3D-CNet姿态转换识别精度为97.95%、召回率为91.67%、测试速度为14.39帧/s,精度、召回率和时间定位精度均高于YOWO、FRCNN-HMM和MOC-D方法。该研究结果实现了母猪姿态转换高精度识别。     

基于自注意力机制与无锚点的仔猪姿态识别

在猪场养殖过程中,仔猪姿态识别对其健康状况和环境热舒适度监测有重要意义。仔猪个体较小,喜欢聚集、扎堆,且姿态随意性较大,给姿态识别带来困难。为此,该研究结合Transformer网络与无锚点目标检测头,提出了一种新的仔猪姿态识别模型TransFree（Transformer + Anchor-Free）。该模型使用Swin Transformer作为基础网络,提取仔猪图像的局部和全局特征,然后经过一个特征增强模块（Feature Enhancement Module,FEM）进行多尺度特征融合并得到高分辨率的特征图,最后将融合后的特征图输入Anchor-Free检测头进行仔猪的定位和姿态识别。以广东佛山市某商业猪场拍摄的视频作为数据源,从12个猪栏的拍摄视频中选取9栏作为训练集,3栏作为测试集,训练集中仔猪的俯卧、侧卧和站立3类姿态总计19 929个样本,测试集中3类姿态总计5 150个样本。在测试集上,TransFree模型的仔猪姿态识别精度达到95.68%,召回率达到91.18%,F1-score达到93.38%;相较于CenterNet、Faster R-CNN和YOLOX-L目标检测网络,F1-score分别提高了2.32、4.07和2.26个百分点。该文提出的TransFree模型实现了仔猪姿态的高精度识别,为仔猪行为识别提供了技术参考。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM(convolutional block attention module),改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于改进YOLOv3的果树树干识别和定位

为提高果园机器人自主导航和果园作业的质量、效率,该研究提出一种基于改进YOLOv3算法对果树树干进行识别,并通过双目相机进行定位的方法。首先,该算法将SENet注意力机制模块融合至Darknet53特征提取网络的残差模块中,SENet模块可增强有用特征信息提取,压缩无用特征信息,进而得到改进后残差网络模块SE-Res模块;其次,通过K-means聚类算法将原始YOLOv3模型的锚框信息更新。果树树干定位通过双目相机的左、右相机对图像进行采集,分别传输至改进YOLOv3模型中进行果树树干检测,并输出检测框的信息,再通过输出的检测框信息对左、右相机采集到的果树树干进行匹配;最后,通过双目相机三角定位原理对果树树干进行定位。试验表明,该方法能较好地对果树树干进行识别和定位,改进YOLOv3模型平均精确率和平均召回率分别为97.54%和91.79%,耗时为0.046 s/帧。在果树树干定位试验中,横向和纵向的定位误差均值分别为0.039 和0.266 m,误差比均值为3.84%和2.08%;与原始YOLOv3和原始SSD模型相比,横向和纵向的定位误差比均值分别降低了15.44、14.17个百分点和21.58、20.43个百分点。研究结果表明,该方法能够在果园机器人自主导航、开沟施肥、割草和农药喷洒等作业中进行果树识别和定位,为提高作业效率、保障作业质量奠定理论基础。     

改进Faster R-CNN的田间苦瓜叶部病害检测

为实现在自然环境条件下对苦瓜叶部病害的目标检测,该研究提出了一种基于改进的更快速区域卷积神经网络（Faster Region with Convolutional Neural Network Features,Faster R-CNN）的苦瓜叶部病害目标检测方法。Faster R-CNN以残差结构卷积神经网络ResNet-50作为该次试验的特征提取网络,将其所得特征图输入到区域建议网络提取区域建议框,并且结合苦瓜叶部病害尺寸小的特点,对原始的Faster R-CNN进行修改,增加区域建议框的尺寸个数,并在ResNet-50的基础下融入了特征金字塔网络（Feature Pyramid Networks,FPN）。结果表明,该方法训练所得的深度学习网络模型具有良好的鲁棒性,平均精度均值（Mean Average Precision,MAP）值为78.85%;融入特征金字塔网络后,所得模型的平均精度均值为86.39%,提高了7.54%,苦瓜健康叶片、白粉病、灰斑病、蔓枯病、斑点病的平均精确率（Average Precision,AP）分别为89.24%、81.48%、83.31%、88.62%和89.28%,在灰斑病检测精度上比之前可提高了16.56%,每幅图像的检测时间达0.322 s,保证检测的实时性。该方法对复杂的自然环境下的苦瓜叶部病害检测具有较好的鲁棒性和较高的精度,对瓜果类疾病预防有重要的研究意义。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。     

改进Faster-RCNN自然环境下识别刺梨果实

为了实现自然环境下刺梨果实的快速准确识别,根据刺梨果实的特点,该文提出了一种基于改进的Faster RCNN刺梨果实识别方法。该文卷积神经网络采用双线性插值方法,选用FasterRCNN的交替优化训练方式(alternating optimization),将卷积神经网络中的感兴趣区域池化(ROI pooling)改进为感兴趣区域校准(ROI align)的区域特征聚集方式,使得检测结果中的目标矩形框更加精确。通过比较Faster RCNN框架下的VGG16、VGG_CNN_M1024以及ZF 3种网络模型训练的精度-召回率,最终选择VGG16网络模型,该网络模型对11类刺梨果实的识别精度分别为94.00%、90.85%、83.74%、98.55%、96.42%、98.43%、89.18%、90.61%、100.00%、88.47%和90.91%,平均识别精度为92.01%。通过对300幅自然环境下随机拍摄的未参与识别模型训练的刺梨果实图像进行检测,并选择以召回率、准确率以及F1值作为识别模型性能评价的3个指标。检测结果表明:改进算法训练出来的识别模型对刺梨果实的11种形态的召回率最低为81.40%,最高达96.93%;准确率最低为85.63%,最高达95.53%;F1值最低为87.50%,最高达94.99%。检测的平均速度能够达到0.2 s/幅。该文算法对自然条件下刺梨果实的识别具有较高的正确率和实时性。     

改进帧间差分-深度学习识别群养猪只典型行为

群养猪行为是评估猪群对环境适应性的重要指标。猪场环境中,猪只行为识别易受不同光线和猪只粘连等因素影响,为提高群养猪只行为识别精度与效率,该研究提出一种基于改进帧间差分-深度学习的群养猪只饮食、躺卧、站立和打斗等典型行为识别方法。该研究以18只50～115日龄长白猪为研究对象,采集视频帧1 117张,经图像增强共得到4 468张图像作为数据集。首先,选取Faster R-CNN、SSD、Retinanet、Detection Transformer和YOLOv5五种典型深度学习模型进行姿态检测研究,通过对比分析,确定了最优姿态检测模型;然后,对传统帧间差分法进行了改进,改进后帧间差分法能有效提取猪只完整的活动像素特征,使检测结果接近实际运动猪只目标;最后,引入打斗活动比例（Proportion of Fighting Activities, PFA）和打斗行为比例（Proportion of Fighting Behavior, PFB）2个指标优化猪只打斗行为识别模型,并对模型进行评价,确定最优行为模型。经测试,YOLOv5对群养猪只典型姿态检测平均精度均值达93.80%,模型大小为1...