融合2D-3D卷积特征识别哺乳母猪姿态转换

母猪姿态转换影响仔猪存活率,且动作幅度与持续时间存在差异,准确识别难度大。该研究提出一种融合2D-3D卷积特征的卷积网络(2D+3D-CNet,2D+3D Convolutional Network)识别深度图像母猪姿态转换。以视频段为输入,引入注意力机制SE模块和3D空洞卷积,以提升3D卷积网络姿态转换的时空特征提取能力,用2D卷积提取母猪的空间特征;经特征融合后,动作识别分支输出母猪转换概率,姿态分类分支输出4类姿态概率,结合这两个输出结果识别8类姿态转换,减少了人工标注数据集的工作量;最后设计动作分数,优化母猪姿态转换的时间定位。在测试集上,2D+3D-CNet姿态转换识别精度为97.95%、召回率为91.67%、测试速度为14.39帧/s,精度、召回率和时间定位精度均高于YOWO、FRCNN-HMM和MOC-D方法。该研究结果实现了母猪姿态转换高精度识别。     

基于改进Faster R-CNN识别深度视频图像哺乳母猪姿态

猪舍场景下,昼夜交替光线变化、热灯光照影响,及仔猪与母猪的粘连等因素,给全天候哺乳母猪姿态自动识别带来很大困难。该文以深度视频图像为数据源,提出基于改进Faster R-CNN的哺乳母猪姿态识别算法。将残差结构引入ZF网络,设计ZF-D2R网络,以提高识别精度并保持实时性;将Center Loss监督信号引入Faster R-CNN训练中,以增强类内特征的内聚性,提升识别精度。对28栏猪的视频图像抽取站立、坐立、俯卧、腹卧和侧卧5类姿态共计7 541张图像作为训练集,另取5类姿态的5 000张图像作为测试集。该文提出的改进模型在测试集上对哺乳母猪的站立、坐立、俯卧、腹卧和侧卧5类姿态的识别平均准确率分别达到96.73%、94.62%、86.28%、89.57%和99.04%,5类姿态的平均准确率均值达到93.25%。在识别精度上,比ZF网络和层数更深的VGG16网络的平均准确率均值分别提高了3.86和1.24个百分点。识别速度为0.058 s/帧,比VGG16网络速度提高了0.034 s。该文方法在提高识别精度的同时保证了实时性,可为全天候母猪行为识别提供技术参考。     

基于MFO-LSTM的母猪发情行为识别

及时准确识别母猪的发情行为可以有效增加受胎率和产仔量,对提高养殖企业的繁育水平和经济效益具有重要意义。该研究针对生猪养殖过程中母猪发情行为识别存在主观性强、智能化水平低、假警报和错误率高、识别不及时等问题,提出了一种基于飞蛾扑火算法(Moth-Flame Optimization,MFO)优化长短时记忆网络(Long Short Term Memory,LSTM)的母猪发情行为识别方法。利用安装在母猪颈部的姿态传感器获得母猪姿态数据,然后使用姿态数据训练MFO-LSTM姿态分类模型,将母猪姿态分为立姿、卧姿和爬跨3类。通过对姿态分类结果进行分析,确定以爬跨行为和活动量2个特征作为发情行为识别依据,使用MFO-LSTM分类算法判断母猪是否发情。以山西省太原市杏花岭区五丰养殖场的试验数据对该方法进行验证,结果表明,该方法在以30 min为发情行为识别时间时的识别效果最好,发情行为识别的错误率为13.43%,召回率为90.63%,特效性为81.63%,与已有的母猪发情行为识别方法相比错误率降低了80%以上。该方法在保证识别准确率的情况下有效降低了错误率,可满足母猪养殖生产过程中发情行为自动识别要求。     

基于自注意力机制与无锚点的仔猪姿态识别

在猪场养殖过程中,仔猪姿态识别对其健康状况和环境热舒适度监测都有着重要意义。仔猪个体较小,喜欢聚集、扎堆,且姿态随意性较大,给姿态识别带来困难。为此,该文结合Transformer网络与无锚点目标检测头,提出了一种新的仔猪姿态识别模型TransFree（Transformer + Anchor-Free）。该模型使用Swin Transformer作为基础网络,提取仔猪图像的局部和全局特征,然后经过一个特征增强模块（Feature Enhancement Module,FEM）进行多尺度特征融合并得到高分辨率的特征图,最后将融合后的特征图输入Anchor-Free检测头进行仔猪的定位和姿态识别。该文以广东佛山市某商业猪场拍摄的视频作为数据源,从12个猪栏的拍摄视频中选取9栏作为训练集,3栏作为测试集,训练集中仔猪的俯卧、侧卧和站立3类姿态总计19 929个样本,测试集中3类姿态总计5 150个样本。在测试集上,TransFree模型的仔猪姿态识别精度达到95.68%,召回率达到91.18%,F1-score达到93.38%;相较于CenterNet、Faster R-CNN和YOLOX-L目标检测网络,F1-score分别提高了2.32、4.07和2.26个百分点。该文提出的TransFree模型实现了仔猪姿态的高精度识别,为仔猪行为识别提供了技术参考。     

基于全卷积网络的哺乳母猪图像分割

猪舍场景下,光照变化、母猪体表颜色不均及与环境颜色对比度不大、母猪与仔猪的粘连等,均给目标分割带来很大的困难。该文提出了基于全卷积网络(FCN,fully convolutional networks)的哺乳母猪图像分割算法。以VGG16为基础网络,采用融合深层抽象特征与浅层细节特征并将融合的特征图上采样8倍的跳跃式结构,设计哺乳母猪分割的FCN。利用Caffe深度学习框架,以7栏伴有不同日龄仔猪的3811幅哺乳母猪训练样本进行母猪分割FCN训练,在另外21栏的523幅哺乳母猪测试集上的分割结果表明:该算法可有效避免光线变化、母猪颜色不均、小猪遮挡与粘连等影响,实现完整的哺乳母猪区域分割;分割的平均准确率达到99.28%,平均区域重合度达到95.16%,平均速度达到0.22 s/幅。与深度卷积网络的SDS(simultaneous detection and segmentation)及传统的基于图论的图像分割、基于水平集的图像分割方法做了对比试验,该文分割方法平均区域重合度分别比这3种方法高出9.99、31.96和26.44个百分点,有较好的泛化性和鲁棒性,实现了猪舍场景下哺乳母猪准确、快速分割,可为猪只图像分割提供了技术参考。     

哺乳母猪自动饲喂机电控制系统的优化设计及试验

随着中国规模化、集约化种猪场数字化智能饲喂需求的快速增加,为解决哺乳母猪少吃多餐且随哺乳日龄变化采食量动态增加的饲喂控制需求,该研究以哺乳母猪为试验对象,将机电系统、无线网络技术、Android技术、SQL Lite网络数据库、电子数据交换与哺乳母猪的营养供给模型集成起来,设计了一种哺乳母猪自动饲喂控制智能系统。研究结果表明,组成一个哺乳母猪智能系统的主要部件包括供料线、缓冲料仓、料位控制筒、料位调控杆、下料控制线管、螺旋输送机、中央控制箱、下料触发器、料槽及下料管道等,而且通过在系统的微处理器内存预设的采食量模型与雨刷电机精确旋转的电子控制技术相结合,实现了对预设饲喂量的准确投料;还通过储料仓的料位控制机构及设置的人工观察孔,可控制缓冲料仓的合理贮料量,尤其对泌乳早期(0~10 d)母猪的存贮料量最佳为大约10 d单头母猪的理论采食量,以保持日粮的新鲜度及减少结拱;预设的采食量的动态投料控制量基本符合哺乳母猪实际采食变化规律,且实际采食量的变化轨迹收敛于对数曲线。基于智能自动饲喂系统中采食量模型计算出不同泌乳日期的预测采食量,按4次/d的饲喂频率及变化的投料比例(30%,25%,25%及20%)进行定时与定量投喂,与人工饲喂对比,能显著促进哺乳仔猪采食量的增加(P0.05),以及极显著提高哺乳仔猪的平均体质量日增加量(P0.01)。此外,考虑安装、清理料槽及母猪采食的方便性,建议母猪饲喂器的触发器安装高度大约为10 cm。总之,该文设计的哺乳母猪电子自动饲喂系统无需传感器及电子标识技术的应用,适合在中国中、小型的种猪繁育场的哺乳舍推广应用,且系统设备及相应的软件系统的部署方便。进一步指出,母猪自动饲喂器除需要验证哺乳母猪的采食特性及哺乳的仔猪的断奶性能外,在未来还需要观察母猪的返情率甚至断奶商品猪的成活率等指标,从整个母猪的利用年限评价智能饲喂设备的优劣。     

群养猪侵略性行为的深度学习识别方法

为了解决因传统机器视觉和图像处理方法的局限性以及复杂的猪体姿态和猪舍环境导致对群养猪侵略性行为识别的有效性、准确率较低的问题,该文基于深度学习的方法,提出使用3DCONV的群养猪侵略性行为识别算法-3DConvNet。分3个批次采集18头9.6 kg左右的大白仔猪视频图像,选用第一批次中包含28 d内各个时段的撕咬、撞击、追逐、踩踏4大类,咬耳、咬尾、咬身、头撞头、头撞身、追逐以及踩踏7小类侵略性行为以及吃食、饮水、休息等非侵略性行为共计740段(27114帧)视频作为训练集和验证集,训练集和验证集比例为3:1。结果表明,3DConvNet网络模型在训练集上的识别准确度达96.78%,在验证集上识别准确度达95.70%。该文算法模型对于不同训练集批次的猪只以及不良照明条件下依然能准确识别侵略性行为,算法模型泛化性能良好。与C3D模型进行对比,该文提出的网络模型准确率高出43.47个百分点,单帧图像处理时间为0.50 s,可满足实时检测的要求。研究结果可为猪场养殖环境中针对猪只侵略性行为检测提供参考。     

舍温对母猪行为与仔猪保温箱利用率的影响

为分析分娩猪舍温度与保温箱温度对母猪行为和哺乳仔猪保温箱利用率的影响,设置了高温(30.4℃)和低温( 15.3℃)2个组,选取12头约克夏母猪(每组6头)进行了现场试验.结果表明,低温组的仔猪保温箱利用率(62.4％)较高,而高温组的仔猪保温箱利用率仅为1％:低温与高温组母猪从站立到躺卧的行为转换时间分别为4.0和3.4 s(P＜0.05).低温组母猪坐立-腹卧或腹卧-坐立的行为转换频次比高温组母猪的低(P＜0.01).低温组未有仔猪被压死,而高温组的仔猪压死率达15.2％ (P＜0.001).低温组的仔猪增重也相对较快.维持保温箱与分娩舍间适宜温差有利于提高仔猪的保温箱利用率,实现降低仔猪压死率的目的.     

改进AVSlowFast音视频融合模型对哺乳期母猪关键行为的识别

哺乳期母猪的自动行为监测对于保障母猪健康并及时发现异常状态具有重要意义。为了在识别母猪行为中整合视觉和听觉信号蕴含的信息,该研究提出了一种基于音视频特征多模态融合的哺乳期母猪关键行为识别方法。首先,引入三分支结构的AVSlowFast模型作为基础网络,通过视频慢通道、视频快通道、音频通道有效挖掘在视觉和听觉2种模态下的相关行为特征,并基于多层次侧向连接深入融合视听觉模态信息。在此基础上,该研究在特征融合后期引入高斯上下文变换器通道注意力模块,在不新增模型参数的条件下进一步优化高维多模态三维特征的融合效果,提高行为识别的准确率。该研究以哺乳期母猪为对象,采集实际养殖环境中的音频与视频数据进行试验,试验结果表明基于改进AVSlowFast音视频融合模型识别进食、哺乳、睡眠、拱栏、饮水、日常活动6种关键行为的平均精确率与召回率分别为94.3%和94.6%。与基于SlowFast的单模态行为识别方法相比,该研究提出的方法对6种行为识别的平均F1分数上显著提升了12.7%,为实现畜禽多模态行为监测提供了一种有效思路。     

组合式分娩栏对母猪活动和躺卧的影响

为了研究不同型式分娩哺育栏对母猪行为的影响,该试验设计了组合式分娩哺育栏,并进行了饲养试验,同时与普通矩形分娩哺育栏进行了比较。分别记录母猪在哺乳期的采食量以及仔猪的日增质量。在母猪哺乳期的第9、11、14、18天,采用监控设备对8头母猪的行为进行了录像。试验结果表明：组合式和矩形分娩哺育栏内母猪的站立时间分别占各种行为发生时间的22.74%和6.73%,坐立时间分别占2.22%和7.72%,躺卧行为分别占72.50%和84.55%,组合式分娩哺育栏内母猪走动时间占1.13%,矩形分娩哺乳栏内母猪不发生走动行为。组合式分娩哺育栏组母猪的姿势转换次数高于矩形分娩哺育栏组,每天平均数分别为99次和53次。组合式分娩哺育栏组和矩形分娩哺育栏组每头母猪的采食量分别为5.92 kg/d和5.24 kg/d,仔猪日增质量分别为229.93 g/d和224.85 g/d。组合式分娩哺育栏增加了母猪的活动空间,减少了对母猪身体的限制,母猪可以自由的表达各种行为,母猪的活动量增加,提高了母猪的福利状况,母猪的采食量和仔猪的日增质量因此而得到提高,提高了母猪的生产性能。     

融合动态机制的改进型Faster R-CNN识别田间棉花顶芽

针对田间密植环境棉花精准打顶时，棉花顶芽因其小体积特性所带来识别困难问题，该研究提出一种改进型更快速区域卷积神经网络（Faster Region Convolutional Neural Networks，Faster R-CNN）目标检测算法实现大田环境棉花顶芽识别。以Faster R-CNN为基础框架，使用 RegNetX-6.4GF作为主干网络，以提高图像特征获取性能。将特征金字塔网络（Feature Pyramid Network，FPN）和导向锚框定位（Guided Anchoring，GA）机制相融合，实现锚框（Anchor）动态自适应生成。通过融合动态区域卷积神经网络（Dynamic Region Convolutional Neural Networks，Dynamic R-CNN）方法，实现训练阶段检测模型自适应候选区域（Proposal）分布的动态变化，以提高算法训练效果。最后在目标候选区域（Region of Interest，ROI）中引入目标候选区域提取器（Generic ROI Extractor，GROIE）提高图像特征融合能力。采集自然环境7种不同棉花材料总计4 819张图片，建立微软常见物体图像识别库2017（Microsoft Common Objects in Context 2017，MS COCO 2017）格式的棉花顶芽图片数据集进行试验。结果表明，该研究提出的方法平均准确率均值（Mean Average Precision，MAP）为98.1%，模型的处理速度（Frames Per Second，FPS）为10.3帧/s。其MAP在交并比（Intersection Over Union，IOU）为0.5时较Faster R-CNN、RetinaNet、Cascade R-CNN和RepPoints网络分别提高7.3%、78.9%、10.1%和8.3%。该研究算法在田间对于棉花顶芽识别具有较高的鲁棒性和精确度，为棉花精准打顶作业奠定基础。     

基于改进Cascade Mask R-CNN与协同注意力机制的群猪姿态识别

猪体姿态识别有助于实现猪只健康状况预警、预防猪病爆发,是当前研究热点。针对复杂场景下群猪容易相互遮挡、粘连,姿态识别困难的问题,该研究提出一种实例分割与协同注意力机制相结合的两阶段群猪姿态识别方法。首先,以Cascade Mask R-CNN作为基准网络,结合HrNetV2和FPN模块构建猪体检测与分割模型,解决猪体相互遮挡、粘连等问题,实现复杂环境下群猪图像的高精度检测与分割;在上述提取单只猪基础上,构建了基于协同注意力机制(coordinate attention,CA)的轻量级猪体姿态识别模型(CA-MobileNetV3),实现猪体姿态的精准快速识别。最后,在自标注数据集上的试验结果表明,在猪体分割与检测环节,该研究所提模型与MaskR-CNN、MSR-CNN模型相比,在AP_0.50、AP_0.75、AP_0.50:0.95和AP_{0.5:0.95-large}指标上最多提升了1.3、1.5、6.9和8.8个百分点,表现出最优的分割与检测性能。而在猪体姿态识别环节,所提CA-MobileNetV3模...     

采用改进SSD网络的海参目标检测算法

随着海参养殖业快速发展,利用水下机器人代替人工作业的海参智能捕捞已成为发展趋势。浅海环境复杂,海参体色与环境区分性差、海参呈现半遮蔽状态等原因,导致目标识别准确率低下。此外由于景深运动,远端海参作为小目标常常未被识别成功。为解决上述问题,该研究提出一种基于改进SSD网络的海参目标检测算法。首先通过RFB（Receptive Field Block）模块扩大浅层特征感受野,利用膨胀卷积对特征图进行下采样,增加海参细节、位置等信息,并结合注意力机制,对不同深度特征进行强化,将计算得出的权重与原特征信息相乘以此获得特征图,使结果包含最具代表性的特征,也抑制无关特征。最后实现特征图融合,进一步提升水下海参的识别精度。以实际拍摄的视频进行测试验证,在网络结构层面上,对传统算法进行改进。试验结果表明,基于改进的SSD网络的海参目标检测算法的平均精度均值为95.63%,检测帧速为10.70帧/s,相较于传统的SSD算法,在平均精度均值提高3.85个百分点的同时检测帧速仅减少2.8帧/s。与Faster R-CNN算法和YOLOv4算法进行对比试验,该研究算法在平均精度均值指标上,分别比YOLOv4、Faster R-CNN算法提高4.19个百分点、1.74个百分点。在检测速度方面,该研究算法较YOLOv4、Faster R-CNN算法分别低4.6帧/s、高3.95帧/s,试验结果表明,综合考虑准确率与运行速度,改进后的SSD算法较适合进行海参智能捕捞任务。研究结果为海参智能捕捞提供参考。     

改进帧间差分-深度学习识别群养猪只典型行为

群养猪行为是评估猪群对环境适应性的重要指标。猪场环境中，猪只行为识别易受不同光线和猪只粘连等因素影响，为提高群养猪只行为识别精度与效率，该研究提出一种基于改进帧间差分-深度学习的群养猪只饮食、躺卧、站立和打斗等典型行为识别方法。该研究以18只50～115日龄长白猪为研究对象，采集视频帧1 117张，经图像增强共得到4 468张图像作为数据集。首先，选取Faster R-CNN、SSD、Retinanet、Detection Transformer和YOLOv5五种典型深度学习模型进行姿态检测研究，通过对比分析，确定了最优姿态检测模型；然后，对传统帧间差分法进行了改进，改进后帧间差分法能有效提取猪只完整的活动像素特征，使检测结果接近实际运动猪只目标；最后，引入打斗活动比例（Proportion of Fighting Activities, PFA）和打斗行为比例（Proportion of Fighting Behavior, PFB）2个指标优化猪只打斗行为识别模型，并对模型进行评价，确定最优行为模型。经测试，YOLOv5对群养猪只典型姿态检测平均精度均值达93.80%，模型大小为14.40 MB，检测速度为32.00帧/s，检测速度满足姿态实时检测需求，与Faster R-CNN、SSD、Retinanet和Detection Transformer模型相比，YOLOv5平均精度均值分别提高了1.10、3.23、4.15和21.20个百分点，模型大小分别减小了87.31%、85.09%、90.15%和97.10%。同时，当两个优化指标PFA和PFB分别设置为10%和40%时，猪只典型行为识别结果最佳，识别准确率均值为94.45%。结果表明，该方法具有准确率高、模型小和识别速度快等优点。该研究为群养猪只典型行为精准高效识别提供方法参考。     

采用改进YOLOv5的蕉穗识别及其底部果轴定位

为提高香蕉采摘机器人的作业效率和质量,实现机器人末端承接机构的精确定位,该研究提出一种基于YOLOv5算法的蕉穗识别,并对蕉穗底部果轴进行定位的方法。将CA（Coordinate Attention）注意力机制融合到主干网络中,同时将C3（Concentrated-Comprehensive Convolution Block）特征提取模块与CA注意力机制模块融合构成C3CA模块,以此增强蕉穗特征信息的提取。用 EIoU（Efficient Intersection over Union）损失对原损失函数CIoU（Complete Intersection over Union）进行替换,加快模型收敛并降低损失值。通过改进预测目标框回归公式获取试验所需定位点,并对该点的相机坐标系进行转换求解出三维坐标。采用D435i深度相机对蕉穗底部果轴进行定位试验。识别试验表明,与YOLOv5、Faster R-CNN等模型相比,改进YOLOv5模型的平均精度值（mean Average Precision, mAP）分别提升了0.17和21.26个百分点;定位试验表明,采用改进YOLOv5模型对蕉穗底部果轴定位误差均值和误差比均值分别为0.063 m和2.992%,与YOLOv5和Faster R-CNN模型相比,定位误差均值和误差比均值分别降低了0.022 m和1.173%,0.105 m和5.054%。试验实时可视化结果表明,改进模型能对果园环境下蕉穗进行快速识别和定位,保证作业质量,为后续水果采摘机器人的研究奠定了基础。