利用Kalman滤波和Hungarian算法的多目标奶牛嘴部跟踪及反刍监测

针对奶牛养殖场复杂环境下多目标奶牛嘴部自动跟踪及反刍监测的困难,该研究提出了一种基于嘴部区域跟踪的多目标奶牛反刍行为智能监测方法。在YOLOv4模型识别奶牛嘴部上下颚区域的基础上,以Kalman滤波和Hungarian算法跟踪上颚区域,并对同一奶牛目标的上颚和下颚区域进行关联匹配获取嘴部咀嚼曲线,以此获取反刍相关信息,从而实现多目标奶牛个体的嘴部跟踪和反刍行为监测;为解决奶牛快速摆头运动和棚舍栏杆遮挡引发奶牛标号变化的问题,提出未匹配跟踪框保持及扩大的方法。采集并选择实际养殖场环境下的反刍奶牛视频66段,对其中58段视频采取分帧操作得到图像,制作YOLOv4模型数据集,以其余8段视频验证跟踪方法和反刍行为判定方法的有效性。试验结果表明,YOLOv4模型对奶牛嘴部上颚、下颚区域的识别准确率分别为93.92%和92.46%;改进的跟踪算法可实现复杂环境下多目标奶牛嘴部区域的稳定跟踪,且有效解决了栏杆遮挡、快速摆头运动造成的奶牛标号变化现象,上下颚匹配率平均为99.89%,跟踪速度平均为31.85帧/s;由反刍行为判定方法获取的咀嚼次数正确率的平均值为96.93%,反刍时长误差的平均值为1.48 s。该研究可为实际养殖中多目标奶牛反刍行为的智能监测和分析提供参考,也可供其他群体动物运动部位的跟踪和行为监测借鉴。     

基于Horn-Schunck光流法的多目标反刍奶牛嘴部自动监测

奶牛反刍行为的智能监测对于奶牛健康及提升现代养殖业的水平具有重要意义。奶牛嘴部区域的自动检测是奶牛反刍行为智能监测的关键,该文提出一种基于Horn-Schunck光流法的多目标奶牛嘴部区域自动检测方法。利用Horn-Schunck光流法模型求取奶牛反刍视频中各时间序列图像的光流场,将各帧序列图像中运动较大的光流数据进行叠加,获取奶牛反刍时的候选嘴部区域,最后运用奶牛嘴部区域检测模型实现反刍奶牛嘴部区域的检测。为了验证算法的有效性,利用不同环境下获取的12段视频进行验证,选取的12段视频的每段时长10 s,每段视频帧数在250~280帧之间,结果表明,对于多目标奶牛,12段视频中有8段视频可以成功检测到反刍奶牛的嘴部区域;根据所定义的真实充盈率指标与检测充盈率指标,分别统计了8段成功检测反刍奶牛嘴部区域的视频检测结果,试验表明,8段视频中最大真实充盈率为96.76%,最小真实充盈率为25.36%,总体平均真实充盈率为63.91%;最大检测充盈率为98.51%,最小检测充盈率为43.80%,总体平均检测充盈率为70.06%。研究结果表明,将Horn-Schunck光流法应用于多目标奶牛嘴部区域的自动检测是可行的,该研究可为奶牛反刍行为的智能监测提供参考。     

基于改进可变形部件模型与判别模型的葡萄叶片检测与跟踪

为解决酿酒葡萄生长状态自动监测问题,该文提出基于机器视觉和视频处理技术的自动监测系统,开发了多角度可变形部件模型的葡萄叶片检测算法和基于颜色特征的判别模型跟踪算法。在叶片检测方面,该算法对颜色特征图像采用可变形部件模型训练出多角度叶片检测器,通过多模型匹配后产生叶片检测候选集合,选择集合中得分最高的检测结果作为最后的定位信息;在跟踪方面,结合图像中目标的颜色直方图,建立具有区分背景和目标的组合判别模型,并将位置函数的最大值作为相邻帧的目标位置,从而实现对叶片目标的实时跟踪。试验结果表明,该文检测算法对自然条件下的葡萄叶片平均检测率为88.31%,误检率为8.73%;叶片跟踪的准确性也相对较高,其重叠率高达0.83,平均中心误差为17.33像素,其证明了该算法的有效性,研究结果为葡萄生长状态的自动分析提供参考。     

基于增强Tiny YOLOV3算法的车辆实时检测与跟踪

针对深度学习方法在视觉车辆检测过程中对小目标车辆漏检率高和难以实现嵌入式实时检测的问题,该文基于Tiny YOLOV3算法提出了增强Tiny YOLOV3模型,并通过匈牙利匹配和卡尔曼滤波算法实现目标车辆的跟踪。在车载Jetson TX2嵌入式平台上,分别在白天和夜间驾驶环境下进行了对比试验。试验结果表明:与Tiny YOLOV3模型相比,增强Tiny YOLOV3模型的车辆检测平均准确率提高4.6%,平均误检率减少0.5%,平均漏检率降低7.4%,算法平均耗时增加43.8 ms/帧;加入跟踪算法后,本文算法模型的车辆检测平均准确率提高10.6%,平均误检率减少1.2%,平均漏检率降低23.6%,平均运算速度提高5倍左右,可达30帧/s。结果表明,所提出的算法能够实时准确检测出目标车辆,为卷积神经网络模型的嵌入式工程应用提供了参考。     

基于Lucas-Kanade稀疏光流算法的奶牛呼吸行为检测

奶牛呼吸行为的智能检测对于奶牛疾病的自动诊断及奶牛精准养殖具有重要意义。该研究基于Lucas-Kanade稀疏光流算法,提出了一种适合于非结构化养殖环境的无接触式单目标奶牛呼吸行为检测方法。通过在HSV颜色空间完成奶牛目标的提取,然后通过Canny算子和掩模操作完成奶牛所有花斑边界的检测,再利用Lucas-Kanade稀疏光流算法计算提取奶牛花斑边界光流,最后根据视频序列帧中花斑边界平均光流的方向变化规律实现奶牛呼吸行为的检测。为了验证本研究算法的有效性,利用不同环境下获取的105段共计25 200帧数据进行了测试,并与基于整体Lucas-Kanade光流法、整体Horn-Schunck光流法和基于花斑边界的Horn-Schunck光流法进行了对比验证。试验结果表明,该研究算法的帧处理耗时在0.10～0.13 s之间,在试验视频上的平均运行时间为14.14 s。奶牛呼吸行为检测的准确率为83.33%～100%之间,平均准确率为98.58%。平均运行时间较基于整体Lucas-Kanade光流法的呼吸行为检测方法慢1.60 s,较Horn-Schunck整体光流的呼吸行为检测方法快7.30 s,较基于花斑边界的Horn-Schunck光流法快9.16 s。呼吸行为检测的平均准确率分别高于3种方法 1.91、2.36、1.26个百分点。研究结果表明,通过Lucas-Kanade光流法检测奶牛花斑边界平均光流方向变化实现奶牛呼吸行为检测是可行的,该研究可为奶牛热应激行为的自动监测及其他与呼吸相关疾病的远程诊断提供参考。     

融合YOLO v5n与通道剪枝算法的轻量化奶牛发情行为识别

及时、准确地监测奶牛发情行为是现代化奶牛养殖的必然要求。针对人工监测奶牛发情不及时、效率低等问题,该研究提出了一种融合YOLO v5n与通道剪枝算法的轻量化奶牛发情行为识别方法。在保证模型检测精度的基础上,基于通道剪枝算法,对包括CSPDarknet53主干特征提取网络等在内的模块进行了修剪,以期压缩模型结构与参数量并提高检测速度。为了验证算法的有效性,在2239幅奶牛爬跨行为数据集上进行测试,并与Faster R-CNN、SSD、YOLOX-Nano和YOLOv5-Nano模型进行了对比。试验结果表明,剪枝后模型均值平均精度（mean Average Precision, mAP）为97.70%,参数量（Params）为0.72 M,浮点计算量（Floating Point operations, FLOPs）为0.68 G,检测速度为50.26 帧/s,与原始模型YOLOv5-Nano相比,剪枝后模型mAP不变的情况下,Params和FLOPs分别减少了59.32和49.63个百分点,检测速度提高了33.71个百分点,表明该剪枝操作可有效提升模型性能。与Faster R-CNN、SSD、YOLOX-Nano模型相比,该研究模型的mAP在与之相近的基础上,参数量分别减少了135.97、22.89和0.18 M,FLOPs分别减少了153.69、86.73和0.14 G,检测速度分别提高了36.04、13.22和23.02 帧/s。此外,对模型在不同光照、不同遮挡、多尺度目标等复杂环境以及新环境下的检测结果表明,夜间环境下mAP为99.50%,轻度、中度、重度3种遮挡情况下平均mAP为93.53%,中等尺寸目标和小目标情况下平均mAP为98.77%,泛化性试验中奶牛爬跨行为检出率为84.62%,误检率为7.69%。综上,该模型具有轻量化、高精度、实时性、鲁棒性强、泛化性高等优点,可为复杂养殖环境、全天候条件下奶牛发情行为的准确、实时监测提供借鉴。     

基于卷积神经网络的奶牛个体身份识别方法

视频分析技术已越来越多地应用于检测奶牛行为以给出养殖管理决策,基于图像处理的奶牛个体身份识别方法能够进一步提高奶牛行为视频分析的自动化程度。为实现基于图像处理的无接触、高精确度、适用性强的奶牛养殖场环境下的奶牛个体有效识别,提出用视频分析方法提取奶牛躯干图像,用卷积神经网络准确识别奶牛个体的方法。该方法采集奶牛直线行走时的侧视视频,用帧间差值法计算奶牛粗略轮廓,并对其二值图像进行分段跨度分析,定位奶牛躯干区域,通过二值图像比对跟踪奶牛躯干目标,得到每帧图像中奶牛躯干区域图像。通过理论分析和试验验证,确定了卷积神经网络的结构和参数,并将躯干图像灰度化后经插值运算和归一化变换为48×48大小的矩阵,作为网络的输入进行个体识别。对30头奶牛共采集360段视频,随机选取训练数据60 000帧和测试数据21 730帧。结果表明,在训练次数为10次时,代价函数收敛至0.0060,视频段样本的识别率为93.33%,单帧图像样本的识别率为90.55%。该方法可实现养殖场中奶牛个体无接触精确识别,具有适用性强、成本低的特点。     

利用无人机航拍视频结合YOLOv3模型和SORT算法统计云杉数量

准确、快速地统计苗木数量对苗圃的运营和管理具有重要意义,是提高苗圃运营和管理水平的有效方式。为快速准确统计完整地块内苗木数量,该研究选取云杉为研究对象,以无人机航拍完整地块云杉视频为数据源,提出一种基于YOLOv3（You Only Look Once v3,YOLOv3）和SORT（Simple Online and Realtime Tracking,SORT）的云杉数量统计方法。主要内容包括数据采集、YOLOv3检测模型构建、SORT跟踪算法和越线计数算法设计。以平均计数准确率（Mean Counting Accuracy,MCA）、平均绝对误差（Mean Absolute Error,MAE）、均方根误差（Root Mean Square Error,RMSE）和帧率（Frame Rate,FR）为评价指标,该方法对测试集中对应6个不同试验地块的视频内云杉进行数量统计的平均计数准确率MCA为92.30%,平均绝对误差MAE为72,均方根误差RMSE为98.85,帧率FR 11.5 帧/s。试验结果表明该方法能够快速准确统计完整地块的云杉数量。相比SSD+SORT算法,该方法在4项评价指标优势显著,平均计数准确率MCA高12.36%,帧率FR高7.8 帧/s,平均绝对误差MAE和均方根误差RMSE分别降低125.83和173.78。对比Faster R-CNN+SORT算法,该方法在保证准确率的基础上更加快速,平均计数准确率MCA仅降低1.33%,但帧率FR提高了10.1 帧/s。该研究从无人机航拍视频的角度为解决完整地块的苗木数量统计问题做出了有效探索。     

融合YOLOv7和BYTE多目标跟踪的多类别海珍品计数方法

针对目前养殖过程中海珍品计数方法成本高、效率低、计数精度难以保障等问题,该研究以真实底播养殖环境下的海珍品为研究对象,以水下拍摄的海珍品视频为数据源,提出一种基于视频多目标跟踪的多类别海珍品计数方法。首先,采用性能优异的YOLOv7算法实现海珍品目标检测器,为多目标跟踪提供输入;然后,结合真实养殖环境下同类别海珍品外观相似性高、不清晰等特点,借鉴BYTE算法的多目标跟踪思想,设计多类别轨迹生成策略和基于轨迹ID号的计数策略,提出一种多类别海珍品跟踪与计数方法。并提出一套更适用于基于轨迹ID号计数方法的评估指标。试验结果表明,改进平均计数精度、改进平均绝对误差、改进均方根误差及帧率分别为91.62%、5.75、6.38和32帧/s,各项指标多优于YOLOv5+DeepSORT、YOLOv7+DeepSORT、YOLOv5+BYTE、YOLOv7+BYTE等算法,尤其改进平均计数精度、帧率指标比YOLOv5+DeepSORT高了29.51个百分点和8帧/s,且在改进平均绝对误差、改进均方根误差指标上分别降低19.50和12.08。该研究方法可有效帮助水产养殖企业掌握水下海珍品数量,为现代化...     

基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络（Shifted Window Transformer,Swin Transformer）的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入Swin Transformer主干并采用统一感知解析网络作为其高效语义分割框架;改进Swin Transformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51′10-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。     

基于头颈部轮廓拟合直线斜率特征的奶牛跛行检测方法

针对人工跛行检测不够及时,难以发现突发中、重度跛行及轻度跛行行为的问题,该文提出了一种基于正态分布背景统计模型(normal background statistical model,NBSM)与局部循环中心补偿跟踪模型(local circulation center compensation track,LCCCT)和线性斜率最近邻分类(distilling data of KNN,DSKNN)技术的奶牛跛行检测方法。首先利用NBSM模型对奶牛序列图像中的目标奶牛像素区域进行分割,然后对得到的奶牛像素区域利用LCCCT模型提取目标奶牛身体前部像素区域,用其区域通过DSKNN模型提取目标奶牛的头部、颈部以及与颈连接的背部轮廓线拟合直线斜率数据,基于大样本视频序列帧数据将视频集制成轻度跛行、中重度跛行及正常等3类标签的斜率数据集。为了验证算法的有效性,对随机选取的18段奶牛视频进行了验证,其中正常奶牛、轻度跛行奶牛及中重跛行奶牛视频段各6段,获得头部、颈部及背部连接处的拟合直线斜率数据集。在未清洗的数据集上,分别利用SVM、Naive Bayes以及KNN分类算法进行了奶牛跛行的分类检测试验,试验结果表明,SVM与Naive Bayes跛行分类检测正确率均为82.78%,KNN奶牛跛行检测正确率为81.67%。将未清洗的数据集进行清洗后,3类算法的结果表明,KNN分类算法的跛行检测正确率达93.89%,高于SVM分类算法的91.11%及Naive Bayes分类算法的86.11%。上述结果表明通过头部、颈部及背部连接处的拟合直线斜率特性可以正确检测奶牛跛行,未清洗的数据经数据清洗后,KNN分类算法可以取得更好的检测结果。该研究结果对于奶牛跛行疾病的预防、诊断具有重要意义。     

基于PigsTrack跟踪器的群养生猪多目标跟踪

基于视频的生猪行为跟踪和识别对于实现精细化养殖具有重要价值。为了应对群养生猪多目标跟踪任务中由猪只外观相似、遮挡交互等因素带来的挑战,研究提出了基于PigsTrack跟踪器的群养生猪多目标跟踪方法。PigsTrack跟踪器利用高性能YOLOX网络降低目标误检与漏检率,采用Transformer模型获取具有良好区分特性的目标外观特征;基于OC-SORT(observation-centric sort)的思想,通过集成特征匹配、IoU匹配和遮挡恢复匹配策略实现群养生猪的准确跟踪。基于PBVD(pigs behaviours video dataset)数据集的试验结果表明,PigsTrack跟踪器的HOTA(higher order tracking accuracy),MOTA(multiple object tracking accuracy)和IDF1得分(identification F1 score)分别为85.66%、98.59%和99.57%,相较于现有算法的最高精度,分别提高了3.71、0.03和2.05个百分点,证明了PigsTrack跟踪器在解决外观相似和遮挡交互引起...     

改进稀疏超完备词典方法识别奶牛跛足行为

监测与发现奶牛异常行为是实现疾病早期防控的关键,其中尤以跛足行为发现与识别较为典型,但是当前家畜异常行为识别仍然存在在线性能较差的问题。针对这一问题,该文提出2种改进策略。首先提出一种基于共轭梯度追踪算法的稀疏超完备词典学习算法(conjugate gradient pursuit-KSVD,CGP-KSVD)用于跛足行为特征的语义级描述和表示,即在稀疏编码构建阶段引入共轭梯度追踪算法寻找优化搜索方向,同时避免存储和计算大规模Hessen矩阵带来的计算负载,从而提升稀疏超完备词典学习算法的收敛速度。其次通过时空兴趣点与稠密轨迹图二次提取时空兴趣点相融合实现视频底层特征提取和表示,在保留丰富细节特征信息的基础上减少冗余特征降低计算负载。在1 200个时长10 s的标注视频样本集上测试结果显示:该文提出的算法识别准确率达到100%,识别平均响应时间为0.043 s,对比基于基追踪算法(basis pursuit-KSVD,BP-KSVD)和正交匹配追踪算法(orthogonal matching pursuit-KSVD,OMP-KSVD)稀疏编码序列优化策略算法在识别平均响应时间分别提升1.11和0.199 s,在90 h回放视频和在线测试视频上跛足行为识别准确率分别为93.3%和92.7%,明显优于对比算法。试验结果表明该文提出的跛足行为识别算法框架具有较高的识别准确率和较好的在线响应时间,可以为相关研究工作提供借鉴意义,相关技术可以成为接触式传感器监测及其他技术的必要补充。     

基于物联网的生猪运动行为及猪舍环境远程监控系统

In intensive and large-scale livestock breeding, how to evaluate welfare of each individual effectively has become one hotspot of welfare breeding.In this study, a remote monitor system based on computer vision technology and wireless sensor networks was proposed.In the system, pig videos in the piggery were captured by IP cameras and transmitted remotely to PC systems for objects tracking and trajectory extraction, and the piggery environmental data such as temperature, humidity and harmful gases were collected by wireless sensor networks(WSN) nodes.Traditional Camshift tracking algorithm was improved.The average root mean square errors of traditional and improved algorithm were 78.07 and 32.29, indicating the improved algorithm reduced error and improved tracking stability.The results of the real-time monitoring of environmental parameters by WSN showed that the hydrogen and ammonia concentrations, and the ambient temperature were all kept in the normal range, while the carbon dioxide concentration was exceeded, and the air humidity was slightly high.Through data mining, precise welfare monitoring and breeding management were realized.     

基于物联网的生猪运动行为及猪舍环境远程监控系统（英文）

In intensive and large-scale livestock breeding,how to evaluate welfare of each individual effectively has become one hotspot of welfare breeding.In this study,a remote monitor system based on computer vision technology and wireless sensor networks was proposed.In the system,pig videos in the piggery were captured by IP cameras and transmitted remotely to PC systems for objects tracking and trajectory extraction,and the piggery environmental data such as temperature,humidity and harmful gases were collected by wireless sensor networks(WSN)nodes.Traditional Camshift tracking algorithm was improved.The average root mean square errors of traditional and improved algorithm were 78.07 and 32.29,indicating the improved algorithm reduced error and improved tracking stability.The results of the real-time monitoring of environmental parameters by WSN showed that the hydrogen and ammonia concentrations,and the ambient temperature were all kept in the normal range,while the carbon dioxide concentration was exceeded,and the air humidity was slightly high.Through data mining,precise welfare monitoring and breeding management were realized.