基于Horn-Schunck光流法的多目标反刍奶牛嘴部自动监测

奶牛反刍行为的智能监测对于奶牛健康及提升现代养殖业的水平具有重要意义。奶牛嘴部区域的自动检测是奶牛反刍行为智能监测的关键,该文提出一种基于Horn-Schunck光流法的多目标奶牛嘴部区域自动检测方法。利用Horn-Schunck光流法模型求取奶牛反刍视频中各时间序列图像的光流场,将各帧序列图像中运动较大的光流数据进行叠加,获取奶牛反刍时的候选嘴部区域,最后运用奶牛嘴部区域检测模型实现反刍奶牛嘴部区域的检测。为了验证算法的有效性,利用不同环境下获取的12段视频进行验证,选取的12段视频的每段时长10 s,每段视频帧数在250~280帧之间,结果表明,对于多目标奶牛,12段视频中有8段视频可以成功检测到反刍奶牛的嘴部区域;根据所定义的真实充盈率指标与检测充盈率指标,分别统计了8段成功检测反刍奶牛嘴部区域的视频检测结果,试验表明,8段视频中最大真实充盈率为96.76%,最小真实充盈率为25.36%,总体平均真实充盈率为63.91%;最大检测充盈率为98.51%,最小检测充盈率为43.80%,总体平均检测充盈率为70.06%。研究结果表明,将Horn-Schunck光流法应用于多目标奶牛嘴部区域的自动检测是可行的,该研究可为奶牛反刍行为的智能监测提供参考。     

基于视频分析的多目标奶牛反刍行为监测

奶牛反刍行为与其生产、繁殖和应激行为等存在较强的相关性,现有方法多采用人工观察或可穿戴式装置进行奶牛反刍行为的监测,存在误差大、容易引起奶牛应激反应、成本高等问题。为了实现多目标奶牛反刍行为的实时监测,该研究基于视频分析与目标跟踪技术,在获取奶牛嘴部区域的基础上,分析对比了压缩跟踪算法(compressive tracking,CT)和核相关滤波算法(kernelized correlation filters,KCF)在多目标奶牛反刍监测中的性能。为了验证不同算法对奶牛反刍行为监测的效果,分别用9段视频进行了试验,针对误检问题提出了有效的咀嚼次数判定模型,最后与实际的奶牛反刍数据进行了对比。试验结果表明:对多目标监测,KCF算法平均帧处理速度为7.37帧/s,是CT算法平均帧处理速度0.51帧/s的14.45倍;KCF算法平均误差为13.27像素,是CT算法平均误差38.28像素的34.67%。对双目标监测,KCF算法的平均误检率为7.72%,比CT算法的平均误检率18.56%低10.84个百分点;2种算法的帧处理速度分别为10.11帧/s和0.87帧/s;平均跟踪误差分别为22.19像素和28.51像素,KCF算法的平均跟踪误差仅为CT算法的77.83%。试验结果表明,KCF算法具有较低的误检率及较高的帧处理速度,更适合奶牛反刍行为的监测。在此基础上,验证了2种算法在不同光照、不同姿态和不同程度遮挡等影响因素下的监测效果,结果表明,CT算法会出现不同程度的偏离,甚至丢失目标,而KCF算法仍然具有良好的效果和较好的适应性,表明将KCF算法应用于全天候多目标奶牛反刍行为的分析是可行的、有效的。     

基于卷积神经网络的奶牛个体身份识别方法

视频分析技术已越来越多地应用于检测奶牛行为以给出养殖管理决策,基于图像处理的奶牛个体身份识别方法能够进一步提高奶牛行为视频分析的自动化程度。为实现基于图像处理的无接触、高精确度、适用性强的奶牛养殖场环境下的奶牛个体有效识别,提出用视频分析方法提取奶牛躯干图像,用卷积神经网络准确识别奶牛个体的方法。该方法采集奶牛直线行走时的侧视视频,用帧间差值法计算奶牛粗略轮廓,并对其二值图像进行分段跨度分析,定位奶牛躯干区域,通过二值图像比对跟踪奶牛躯干目标,得到每帧图像中奶牛躯干区域图像。通过理论分析和试验验证,确定了卷积神经网络的结构和参数,并将躯干图像灰度化后经插值运算和归一化变换为48×48大小的矩阵,作为网络的输入进行个体识别。对30头奶牛共采集360段视频,随机选取训练数据60 000帧和测试数据21 730帧。结果表明,在训练次数为10次时,代价函数收敛至0.0060,视频段样本的识别率为93.33%,单帧图像样本的识别率为90.55%。该方法可实现养殖场中奶牛个体无接触精确识别,具有适用性强、成本低的特点。     

基于改进YOLOV5s网络的奶牛多尺度行为识别方法

奶牛站立、喝水、行走、躺卧等日常行为与其生理健康密切相关,高效准确识别奶牛行为对及时掌握奶牛健康状况,提高养殖场经济效益具有重要意义。针对群体养殖环境下奶牛行为数据中,场景复杂、目标尺度变化大、奶牛行为多样等对行为识别造成的干扰,该研究提出一种改进YOLOV5s奶牛多尺度行为识别方法。该方法在骨干网络顶层引入基于通道的Transformer注意力机制使模型关注奶牛目标区域,同时对奶牛多尺度行为目标增加路径聚合结构的支路与检测器获取底层细节特征,并引入SE（Squeeze-and-Excitation Networks）注意力机制优化检测器,构建SEPH（SE Prediction Head）识别重要特征,提高奶牛多尺度行为识别能力。试验验证改进后的奶牛行为识别模型在无权重激增的同时,多尺度目标识别结果的平均精度均值较YOLOV5s提高1.2个百分点,尤其是对奶牛行走识别结果的平均精度4.9个百分点,研究结果为群体养殖环境下,全天实时监测奶牛行为提供参考。     

融合YOLO v5n与通道剪枝算法的轻量化奶牛发情行为识别

及时、准确地监测奶牛发情行为是现代化奶牛养殖的必然要求。针对人工监测奶牛发情不及时、效率低等问题,该研究提出了一种融合YOLO v5n与通道剪枝算法的轻量化奶牛发情行为识别方法。在保证模型检测精度的基础上,基于通道剪枝算法,对包括CSPDarknet53主干特征提取网络等在内的模块进行了修剪,以期压缩模型结构与参数量并提高检测速度。为了验证算法的有效性,在2239幅奶牛爬跨行为数据集上进行测试,并与Faster R-CNN、SSD、YOLOX-Nano和YOLOv5-Nano模型进行了对比。试验结果表明,剪枝后模型均值平均精度（mean Average Precision, mAP）为97.70%,参数量（Params）为0.72 M,浮点计算量（Floating Point operations, FLOPs）为0.68 G,检测速度为50.26 帧/s,与原始模型YOLOv5-Nano相比,剪枝后模型mAP不变的情况下,Params和FLOPs分别减少了59.32和49.63个百分点,检测速度提高了33.71个百分点,表明该剪枝操作可有效提升模型性能。与Faster R-CNN、SSD、YOLOX-Nano模型相比,该研究模型的mAP在与之相近的基础上,参数量分别减少了135.97、22.89和0.18 M,FLOPs分别减少了153.69、86.73和0.14 G,检测速度分别提高了36.04、13.22和23.02 帧/s。此外,对模型在不同光照、不同遮挡、多尺度目标等复杂环境以及新环境下的检测结果表明,夜间环境下mAP为99.50%,轻度、中度、重度3种遮挡情况下平均mAP为93.53%,中等尺寸目标和小目标情况下平均mAP为98.77%,泛化性试验中奶牛爬跨行为检出率为84.62%,误检率为7.69%。综上,该模型具有轻量化、高精度、实时性、鲁棒性强、泛化性高等优点,可为复杂养殖环境、全天候条件下奶牛发情行为的准确、实时监测提供借鉴。     

基于Lucas-Kanade稀疏光流算法的奶牛呼吸行为检测

奶牛呼吸行为的智能检测对于奶牛疾病的自动诊断及奶牛精准养殖具有重要意义。该研究基于Lucas-Kanade稀疏光流算法,提出了一种适合于非结构化养殖环境的无接触式单目标奶牛呼吸行为检测方法。通过在HSV颜色空间完成奶牛目标的提取,然后通过Canny算子和掩模操作完成奶牛所有花斑边界的检测,再利用Lucas-Kanade稀疏光流算法计算提取奶牛花斑边界光流,最后根据视频序列帧中花斑边界平均光流的方向变化规律实现奶牛呼吸行为的检测。为了验证本研究算法的有效性,利用不同环境下获取的105段共计25 200帧数据进行了测试,并与基于整体Lucas-Kanade光流法、整体Horn-Schunck光流法和基于花斑边界的Horn-Schunck光流法进行了对比验证。试验结果表明,该研究算法的帧处理耗时在0.10～0.13 s之间,在试验视频上的平均运行时间为14.14 s。奶牛呼吸行为检测的准确率为83.33%～100%之间,平均准确率为98.58%。平均运行时间较基于整体Lucas-Kanade光流法的呼吸行为检测方法慢1.60 s,较Horn-Schunck整体光流的呼吸行为检测方法快7.30 s,较基于花斑边界的Horn-Schunck光流法快9.16 s。呼吸行为检测的平均准确率分别高于3种方法 1.91、2.36、1.26个百分点。研究结果表明,通过Lucas-Kanade光流法检测奶牛花斑边界平均光流方向变化实现奶牛呼吸行为检测是可行的,该研究可为奶牛热应激行为的自动监测及其他与呼吸相关疾病的远程诊断提供参考。     

改进TransTrack多目标生猪行为跟踪方法

高效准确地监测群养生猪的行为变化以获取其生理、健康和福利状况，对于实现生猪智能精细化养殖具有重要意义。针对猪场自然场景下光照变化和猪只粘连遮挡等因素影响，使得猪只行为跟踪中存在误检、漏检和身份频繁错误变换问题，该研究提出一种改进的TransTrack多目标生猪行为跟踪方法。首先，在目标检测模块中，采用改进的并集交并比的匹配算法，去除猪只遮挡导致的目标误检检测框。然后，在跟踪模块中，根据高低匹配阈值进行2次数据关联，提高光照变化下漏检目标的跟踪准确性。最后，针对误检与漏检导致跟踪中猪只身份错误变换，根据猪栏中猪只数量信息，限制猪只身份编号值的错误增加，提高猪只身份准确识别率。在公开数据集和私有数据集上的试验结果表明，改进的TransTrack在多目标跟踪准确率（multiple object tracking accuracy,MOTA），高阶跟踪准确率（higher order tracking accuracy, HOTA）和身份变换（identityswitches, IDs）分别为92.0%、 69.8%和210。在公开数据集中，对比Trackformer,JDE和TransTr...     

未成熟芒果的改进YOLOv2识别方法

在果园场景下,由于光照的多样性、背景的复杂性及芒果与树叶颜色的高度相似性,特别是树叶和枝干对果实遮挡及果实重叠,给未成熟芒果检测带来极大的挑战。本文提出果园场景下未成熟芒果的改进YOLOv2检测方法。设计新的带密集连接的Tiny-yolo网络结构,实现网络多层特征的复用和融合,提高检测精度。为克服遮挡重叠果实检测困难,手工标注遮挡或重叠芒果的前景区域,然后用样本的前景区域训练YOLOv2网络,减小边界框内非前景区域特征的干扰,增强对目标前景区域卷积特征的学习。并以扩增的数据集,采用增大输入尺度和多尺度策略训练网络。最后,对本文方法进行性能评价与对比试验。试验结果表明,该方法在测试集上,芒果目标检测速度达83帧/s,准确率达97.02%,召回率达95.1%。对比Faster RCNN,该方法在杂物遮挡和果实重叠等复杂场景下,检测性能显著提升。     

基于PigsTrack跟踪器的群养生猪多目标跟踪

基于视频的生猪行为跟踪和识别对于实现精细化养殖具有重要价值。为了应对群养生猪多目标跟踪任务中由猪只外观相似、遮挡交互等因素带来的挑战,研究提出了基于PigsTrack跟踪器的群养生猪多目标跟踪方法。PigsTrack跟踪器利用高性能YOLOX网络降低目标误检与漏检率,采用Transformer模型获取具有良好区分特性的目标外观特征;基于OC-SORT(observation-centric sort)的思想,通过集成特征匹配、IoU匹配和遮挡恢复匹配策略实现群养生猪的准确跟踪。基于PBVD(pigs behaviours video dataset)数据集的试验结果表明,PigsTrack跟踪器的HOTA(higher order tracking accuracy),MOTA(multiple object tracking accuracy)和IDF1得分(identification F1 score)分别为85.66%、98.59%和99.57%,相较于现有算法的最高精度,分别提高了3.71、0.03和2.05个百分点,证明了PigsTrack跟踪器在解决外观相似和遮挡交互引起...     

基于多尺度融合注意力机制的群猪检测方法

群猪检测是现代化猪场智慧管理的关键环节。针对群猪计数过程中,小目标或被遮挡的猪只个体易漏检的问题,该研究提出了基于多尺度融合注意力机制的群猪检测方法。首先基于YOLOv7模型构建了群猪目标检测网络YOLOpig,该网络设计了融合注意力机制的小目标尺度检测网络结构,并基于残差思想优化了最大池化卷积模块,实现了对被遮挡与小目标猪只个体的准确检测;其次结合GradCAM算法进行猪只检测信息的特征可视化,验证群猪检测试验特征提取的有效性。最后使用目标跟踪算法StrongSORT实现猪只个体的准确跟踪,为猪只的检测任务提供身份信息。研究以育肥阶段的长白猪为测试对象,基于不同视角采集的视频数据集进行测试,验证了YOLOpig网络结合StongSORT算法的准确性和实时性。试验结果表明,该研究提出的YOLOpig模型精确率、召回率及平均精度分别为90.4%、85.5%和92.4%,相较于基础YOLOv7模型平均精度提高了5.1个百分点,检测速度提升7.14%,比YOLOv5、YOLOv7tiny和YOLOv8n 3种模型的平均精度分别提高了12.1、16.8和5.7个百分点,该文模型可以实现群猪的有...     

融合YOLOv7和BYTE多目标跟踪的多类别海珍品计数方法

针对目前养殖过程中海珍品计数方法成本高、效率低、计数精度难以保障等问题,该研究以真实底播养殖环境下的海珍品为研究对象,以水下拍摄的海珍品视频为数据源,提出一种基于视频多目标跟踪的多类别海珍品计数方法。首先,采用性能优异的YOLOv7算法实现海珍品目标检测器,为多目标跟踪提供输入;然后,结合真实养殖环境下同类别海珍品外观相似性高、不清晰等特点,借鉴BYTE算法的多目标跟踪思想,设计多类别轨迹生成策略和基于轨迹ID号的计数策略,提出一种多类别海珍品跟踪与计数方法。并提出一套更适用于基于轨迹ID号计数方法的评估指标。试验结果表明,改进平均计数精度、改进平均绝对误差、改进均方根误差及帧率分别为91.62%、5.75、6.38和32帧/s,各项指标多优于YOLOv5+DeepSORT、YOLOv7+DeepSORT、YOLOv5+BYTE、YOLOv7+BYTE等算法,尤其改进平均计数精度、帧率指标比YOLOv5+DeepSORT高了29.51个百分点和8帧/s,且在改进平均绝对误差、改进均方根误差指标上分别降低19.50和12.08。该研究方法可有效帮助水产养殖企业掌握水下海珍品数量,为现代化...     

基于Micro-CT和改进DeepSORT的再生稻再生芽追踪计数与再生力评价

再生稻具有一种两收的优势,其再生力直接决定了水稻再生季产量,而水稻再生力与再生季再生芽的数量密切相关。传统人工水稻再生芽检测方法存在接触损伤、主观低效和重复性差等缺点,因此该研究提出了一种基于Micro-CT（computed tomography）和改进的DeepSORT（simple online and realtime tracking）的再生芽多目标追踪计数和再生力评价方法。首先采用Micro-CT成像获取再生季水稻断层图视频流,然后利用YOLOv5s网络作为再生芽追踪检测器,最后通过改进的DeepSORT追踪算法实现水稻再生芽的精准追踪计数。其中DeepSORT改进包括优化再生芽追踪过程中的ID错误;增加再生芽目标追踪的匹配次数,改善ID跳变的问题;计算再生芽的高度信息,实现对再生芽中有效芽的判别。试验结果表明,在目标检测上,YOLOv5s对再生芽和茎秆的平均检测准确率分别为97.3%和99.1%,在再生芽多目标追踪上,改进的DeepSORT算法的多目标跟踪准确度为77.61%,高阶跟踪精度为61.73%,ID跳变为6,与改进之前相比,多目标跟踪准确度和高阶跟踪精度分别提升了1.51和8.5个百分点,ID跳变降低了94%。对8种不同处理共104盆水稻再生芽进行追踪计数,将系统测量值与人工测量值进行统计对比,结果证明本文方法测量的再生芽数量和人工观测值的决定系数为0.983,均方根误差为3.460,平均绝对百分比误差为5.647%,两者具有较高的回归性。研究基于有效再生芽和茎秆数量的比值得到水稻早期再生力,对2个水稻品种共38盆水稻的再生力和再生季实际产量进行相关分析得到决定系数分别为0.795和0.764。该研究为水稻再生芽无损检测和再生力早期评价提供了一种新的技术途径。     

利用无人机航拍视频结合YOLOv3模型和SORT算法统计云杉数量

准确、快速地统计苗木数量对苗圃的运营和管理具有重要意义,是提高苗圃运营和管理水平的有效方式。为快速准确统计完整地块内苗木数量,该研究选取云杉为研究对象,以无人机航拍完整地块云杉视频为数据源,提出一种基于YOLOv3（You Only Look Once v3,YOLOv3）和SORT（Simple Online and Realtime Tracking,SORT）的云杉数量统计方法。主要内容包括数据采集、YOLOv3检测模型构建、SORT跟踪算法和越线计数算法设计。以平均计数准确率（Mean Counting Accuracy,MCA）、平均绝对误差（Mean Absolute Error,MAE）、均方根误差（Root Mean Square Error,RMSE）和帧率（Frame Rate,FR）为评价指标,该方法对测试集中对应6个不同试验地块的视频内云杉进行数量统计的平均计数准确率MCA为92.30%,平均绝对误差MAE为72,均方根误差RMSE为98.85,帧率FR 11.5 帧/s。试验结果表明该方法能够快速准确统计完整地块的云杉数量。相比SSD+SORT算法,该方法在4项评价指标优势显著,平均计数准确率MCA高12.36%,帧率FR高7.8 帧/s,平均绝对误差MAE和均方根误差RMSE分别降低125.83和173.78。对比Faster R-CNN+SORT算法,该方法在保证准确率的基础上更加快速,平均计数准确率MCA仅降低1.33%,但帧率FR提高了10.1 帧/s。该研究从无人机航拍视频的角度为解决完整地块的苗木数量统计问题做出了有效探索。     

基于姿态与时序特征的猪只行为识别方法

生猪行为监测是生猪养殖管理过程中的一个重要环节。该研究提出了基于姿态与时序特征的猪只行为识别方法。首先采集和标注猪栏内猪只图像，分别构建了猪只目标检测数据集、猪只关键点数据集和猪只行为识别数据集；利用构建的数据集，分别训练了基于YOLOv5s的猪只检测模型、基于轻量化OpenPose算法的猪只姿态估计模型和基于ST-GCN算法的猪只行为识别模型，并搭建了猪只行为识别系统。经测试，文中训练的YOLOv5s猪只检测模型mAP（mean Average Precision）最高达到0.995，姿态估计模型平均精度和平均召回率达到93%以上，基于ST-GCN的猪只行为识别模型的平均准确率为86.67%。文中构建的猪只行为识别系统中基于LibTorch推理猪只检测模型和猪只姿态估计模型的单帧推理耗时分别约为14和65 ms，单只猪行为识别推理耗时约为8 ms，每提取200帧连续姿态进行一次行为识别推理，平均17 s更新一次行为识别结果。证明提出的基于姿态与时序特征的猪只行为识别方法具有一定可行性，为群养猪场景下的猪只行为识别提供了思路。