基于计算机视觉的奶牛跛行识别技术研究进展

奶牛跛行严重降低奶牛福利及潜在产奶量，影响养殖场经济效益。准确高效识别奶牛跛行，有助于奶牛肢蹄病的及早发现与治疗，促进奶业的健康和可持续发展。人工观察法识别奶牛跛行存在识别效率低、成本高、主观性强等问题。计算机视觉技术可以通过无应激、无接触地采集奶牛行走视频数据，准确高效识别奶牛跛行。该研究从可见光相机、深度相机以及热红外相机3种视频采集手段出发，概述了当前奶牛跛行自动识别的主要研究方法、关键技术以及未来发展方向等，对比分析了各研究方法的优势和不足，指出个体差异性、跛行特征的优选以及早期跛行识别等需要重点关注的技术问题。同时，该研究从数据获取、技术研发和试验验证等方面，分析了奶牛跛行识别技术研究领域存在的主要问题及挑战，展望了未来奶牛跛行识别技术的研究重点和发展方向，为奶牛跛行的精准高效识别提供相关理论依据和技术参考。     

基于头颈部轮廓拟合直线斜率特征的奶牛跛行检测方法

针对人工跛行检测不够及时,难以发现突发中、重度跛行及轻度跛行行为的问题,该文提出了一种基于正态分布背景统计模型(normal background statistical model,NBSM)与局部循环中心补偿跟踪模型(local circulation center compensation track,LCCCT)和线性斜率最近邻分类(distilling data of KNN,DSKNN)技术的奶牛跛行检测方法。首先利用NBSM模型对奶牛序列图像中的目标奶牛像素区域进行分割,然后对得到的奶牛像素区域利用LCCCT模型提取目标奶牛身体前部像素区域,用其区域通过DSKNN模型提取目标奶牛的头部、颈部以及与颈连接的背部轮廓线拟合直线斜率数据,基于大样本视频序列帧数据将视频集制成轻度跛行、中重度跛行及正常等3类标签的斜率数据集。为了验证算法的有效性,对随机选取的18段奶牛视频进行了验证,其中正常奶牛、轻度跛行奶牛及中重跛行奶牛视频段各6段,获得头部、颈部及背部连接处的拟合直线斜率数据集。在未清洗的数据集上,分别利用SVM、Naive Bayes以及KNN分类算法进行了奶牛跛行的分类检测试验,试验结果表明,SVM与Naive Bayes跛行分类检测正确率均为82.78%,KNN奶牛跛行检测正确率为81.67%。将未清洗的数据集进行清洗后,3类算法的结果表明,KNN分类算法的跛行检测正确率达93.89%,高于SVM分类算法的91.11%及Naive Bayes分类算法的86.11%。上述结果表明通过头部、颈部及背部连接处的拟合直线斜率特性可以正确检测奶牛跛行,未清洗的数据经数据清洗后,KNN分类算法可以取得更好的检测结果。该研究结果对于奶牛跛行疾病的预防、诊断具有重要意义。     

苹果采摘机器人中的图像配准技术

为了减少自然环境下的光线干扰,采用一个彩色相机和一个深度相机获取目标物的图像,利用多源传感器信息融合与互补方法,实现多目标图像的精确配准。基于TOF（time of flight）技术的PMD（polarization mode dispersion）相机,能实时获得强度图像和深度信息。以苹果树为研究对象,采用Harris检测提取特征点,在归一化互相关系数法的基础上运用邻域的支持强度实现了PMD图像与彩色图像的同名点配准。对自然场景中共50组图片进行试验验证,该方法顺光条件下正确匹配率达到85.75%,逆光条件下的匹配率是79.57%,能满足光线变化的图像精确配准的要求。     

基于Horn-Schunck光流法的多目标反刍奶牛嘴部自动监测

奶牛反刍行为的智能监测对于奶牛健康及提升现代养殖业的水平具有重要意义。奶牛嘴部区域的自动检测是奶牛反刍行为智能监测的关键,该文提出一种基于Horn-Schunck光流法的多目标奶牛嘴部区域自动检测方法。利用Horn-Schunck光流法模型求取奶牛反刍视频中各时间序列图像的光流场,将各帧序列图像中运动较大的光流数据进行叠加,获取奶牛反刍时的候选嘴部区域,最后运用奶牛嘴部区域检测模型实现反刍奶牛嘴部区域的检测。为了验证算法的有效性,利用不同环境下获取的12段视频进行验证,选取的12段视频的每段时长10 s,每段视频帧数在250~280帧之间,结果表明,对于多目标奶牛,12段视频中有8段视频可以成功检测到反刍奶牛的嘴部区域;根据所定义的真实充盈率指标与检测充盈率指标,分别统计了8段成功检测反刍奶牛嘴部区域的视频检测结果,试验表明,8段视频中最大真实充盈率为96.76%,最小真实充盈率为25.36%,总体平均真实充盈率为63.91%;最大检测充盈率为98.51%,最小检测充盈率为43.80%,总体平均检测充盈率为70.06%。研究结果表明,将Horn-Schunck光流法应用于多目标奶牛嘴部区域的自动检测是可行的,该研究可为奶牛反刍行为的智能监测提供参考。     

采用热红外和可见光图像无损测定棉花苗期叶面积

叶面积是影响植物光合作用、蒸腾作用、呼吸作用及产量形成的重要形态指标之一,为实现作物叶面积准确、稳定和无损化测量,该研究基于红外线成像设备,提供了一种利用热红外和可见光图像测定棉花叶片面积的方法。以苗期棉花作为研究对象,通过红外成像相机T660获取棉花的热红外和可见光波段的图像,分别使用GrabCut算法和Hough圆检测提取红外图像中叶片和可见光图像中已知实际面积的圆状参照物（五角硬币）的像素面积,进而根据叶片区域和圆状参照物区域的像素倍数关系计算棉花的真实叶面积,将通过该研究所提方法计算的叶面积结果与传统的剪纸称重法、Image Pro Plus软件图像法进行皮尔逊相关性分析,检验该方法的可行性。分析表明,基于所提方法的测量值与剪纸称重法、Image Pro Plus软件图像法的结果之间均存在显著的线性相关关系（P<0.01）（相关系数分别为0.992,0.996）。3种方法对5盆棉花进行8次测量,结果显示,该研究所提方法测量值的平均变异系数为0.78%,在测量工作中表现稳定,为快速获取棉花苗期叶面积提供了一种准确稳健的理论方法。     

基于无人机遥感影像的玉米冠层温度提取及作物水分胁迫监测

针对当前无人机热红外遥感提取冠层温度不准确、监测作物水分胁迫状况精度不高的问题,该研究以不同水分处理的拔节期夏玉米为研究对象,利用无人机获取试验区域热红外和可见光图像资料,分别采用Otsu算法、EXG-Kmeans算法和Otsu-EXG-Kmeans算法获取冠层区域图像,并对提取结果进行精度评价,而后采用最优算法求得对应作物水分胁迫指数（Crop Water Stress Index,CWSI）,通过分析CWSI同土壤含水率相关关系以及CWSI日平均变化趋势来监测玉米水分亏缺状况。结果表明：1）相比于其他方法,Otsu-EXG-Kmeans算法对冠层温度提取精度更高（用户精度为95.9%）,提取的冠层温度更接近实测温度（r=0.788）,可以准确获取图像冠层温度。2）相比于冠层温度,CWSI与土壤含水率的相关性更高（r= -0.738）,CWSI日平均变化趋势更符合实际情况,可更加精确地监测玉米缺水状况。该研究为无人机遥感精准监测作物水分胁迫状况提供参考。     

奶牛乳房炎自动检测技术研究进展

奶牛乳房炎是影响奶牛健康的主要疾病之一,发病率高、发病范围广、经济损失严重。目前奶牛乳房炎的检测大多是采集奶牛乳汁进行理化性质检测,该方法对检测环境有着较高要求,且检测周期长。随着信息技术的迅速发展,奶牛乳房炎的自动检测技术取得了较好的研究成果。该研究根据数据的传感器类型,从视觉传感器、自动挤奶系统与其他传感器3个方面阐述了奶牛乳房炎自动检测的研究进展。基于视觉传感器的奶牛乳房炎自动检测方法包括基于乳房热红外图像和基于乳汁图像的检测方法,该方法较大程度上保障了动物福利,但检测精度有待提升;基于自动挤奶系统（automatic milking systems, AMS）的奶牛乳房炎自动检测方法利用AMS获取乳汁信息,然后构建乳房炎检测模型,该方法检测误差较小,但成本较高;基于其他传感器的奶牛乳房炎检测方法采用独立研发的传感器获取乳汁数据,预测乳房炎发病情况,该方法操作简便,但使用不同传感器构建的检测模型精度差异较大。该文还探讨了目前奶牛乳房炎自动检测领域存在的精度低、实时性差、自动化不足等问题,并展望了该领域未来的发展趋势,以期为开展奶牛乳房炎自动检测技术与方法研究提供参考。     

基于热红外图像的奶牛乳区温度分布与乳房炎识别方法

乳房炎是影响奶牛健康与牛奶品质的主要疾病之一,是健康养殖的监控重点,该研究提出了一种基于热红外图像的奶牛乳区温度分布测量与乳房炎识别方法.通过现场采集的健康与患病共189头荷斯坦奶牛挤奶前后的后乳区热红外图像样本,提出了左右后乳区自动识别方法,确定了后乳区的特征区域及识别乳房炎的数据最佳采集时间为挤奶前.通过线剖法获取...     

基于目标像素变化的柚果单目测距算法

针对山地果园光线变化和枝叶遮挡干扰果实距离检测的问题,该研究提出一种利用目标区域像素数量变化预测成像距离的算法。根据单目测距原理和柚果成像特性,以具备尺寸和形状代表性的离树柚果样本为研究对象,在采摘作业距离范围内利用单一相机以固定间隔步距对果实某一侧面连续获取图像数据,用以建立并验证目标区域像素数量变化与成像距离变化之间的多元回归关系。随后将该算法应用于果园中树上柚果样本以检验其适用性,并讨论初始成像距离和步距取值对测距精度的影响。研究结果表明,在125 cm以内,6个树上柚果样本的测距相对误差均低于5%,满足采摘机械手目标定位的精度要求;初始成像距离对该算法测距精度具有显著影响。该研究单目测距算法满足果园环境中柚果目标与相机间距离检测需求,为相关采摘机械手的柚果目标识别提供了一种可行方案。     

基于红外热成像与改进YOLOV3的夜间野兔监测方法

随生态改善,野兔数量增多,对农田与林地的危害日益加重。野兔活动多为夜间,目标小,运动速度快,且出现环境较复杂,监控兔害,需要一种高效智能化的方法。针对野兔活动习性,该文提出了使用红外热成像实时监控,结合改进的YOLOV3目标检测方法对夜间野兔进行检测。根据YOLOV3目标检测网络基本结构提出了一种针对红外图像中野兔的实时检测的网络(infrared rabbit detection YOLO,IR-YOLO),该网络特征提取部分压缩YOLOV3特征提取网络深度,利用浅层卷积层特征以提高低分辨率红外小目标检测精度,降低运算量,网络检测部分使用基于CenterNet结构的检测方式以提高检测速度。使用热成像野外实时采集的夜间野兔图像作为数据集,包括不同距离,尺度,出现环境不同的野兔共计6 000幅红外图像制作训练集与测试集,比例为5:1。试验结果表明,IR-YOLO在红外热成像视频中复杂环境下出现的野兔检测率达75%,平均检测速度51帧/s,相对改进前YOLOV3检测率提高15个百分点,相对改进前YOLOV3检测速度提高5帧/s。相比其他目标检测算法各项检测指标更为优良,检测率方面相对Faster-RCNN与RFCN-RESNET101分别提高45个百分点与20个百分点,检测速度方面相对Faster-RCNN与RFCN-RESNET101分别提高30和与45帧/s。该方法可高效快速地对夜间复杂环境下出现的野兔进行检测,也可广泛应用于夜间对其他类型农业害兽的检测。     

基于Lucas-Kanade稀疏光流算法的奶牛呼吸行为检测

奶牛呼吸行为的智能检测对于奶牛疾病的自动诊断及奶牛精准养殖具有重要意义。该研究基于Lucas-Kanade稀疏光流算法,提出了一种适合于非结构化养殖环境的无接触式单目标奶牛呼吸行为检测方法。通过在HSV颜色空间完成奶牛目标的提取,然后通过Canny算子和掩模操作完成奶牛所有花斑边界的检测,再利用Lucas-Kanade稀疏光流算法计算提取奶牛花斑边界光流,最后根据视频序列帧中花斑边界平均光流的方向变化规律实现奶牛呼吸行为的检测。为了验证本研究算法的有效性,利用不同环境下获取的105段共计25 200帧数据进行了测试,并与基于整体Lucas-Kanade光流法、整体Horn-Schunck光流法和基于花斑边界的Horn-Schunck光流法进行了对比验证。试验结果表明,该研究算法的帧处理耗时在0.10～0.13 s之间,在试验视频上的平均运行时间为14.14 s。奶牛呼吸行为检测的准确率为83.33%～100%之间,平均准确率为98.58%。平均运行时间较基于整体Lucas-Kanade光流法的呼吸行为检测方法慢1.60 s,较Horn-Schunck整体光流的呼吸行为检测方法快7.30 s,较基于花斑边界的Horn-Schunck光流法快9.16 s。呼吸行为检测的平均准确率分别高于3种方法 1.91、2.36、1.26个百分点。研究结果表明,通过Lucas-Kanade光流法检测奶牛花斑边界平均光流方向变化实现奶牛呼吸行为检测是可行的,该研究可为奶牛热应激行为的自动监测及其他与呼吸相关疾病的远程诊断提供参考。     

基于融合坐标信息的改进YOLO V4模型识别奶牛面部

为实现奶牛个体的准确识别,基于YOLO V4目标检测网络,提出了一种融合坐标信息的奶牛面部识别模型。首先,采集71头奶牛面部图像数据集,并通过数据增强扩充提高模型的泛化性能。其次,在YOLO V4网络的特征提取层和检测头部分分别引入坐标注意力机制和包含坐标通道的坐标卷积模块,以增强模型对目标位置的敏感性,提高识别精度。试验结果表明,改进的YOLO V4模型能够有效提取奶牛个体面部特征,平均精度均值（mAP）为93.68%,平均帧率为18帧/s,虽然检测速度低于无锚框的CenterNet,但mAP提高了10.92%;与Faster R-CNN和SSD模型相比,在检测速度提高的同时,精度分别提高了1.51%和16.32%;与原始YOLO V4相比,mAP提高0.89%,同时检测速度基本不变。该研究为奶牛精准养殖中的牛脸图像识别提供了一种有效的技术支持。     

基于视频分析的多目标奶牛反刍行为监测

奶牛反刍行为与其生产、繁殖和应激行为等存在较强的相关性,现有方法多采用人工观察或可穿戴式装置进行奶牛反刍行为的监测,存在误差大、容易引起奶牛应激反应、成本高等问题。为了实现多目标奶牛反刍行为的实时监测,该研究基于视频分析与目标跟踪技术,在获取奶牛嘴部区域的基础上,分析对比了压缩跟踪算法(compressive tracking,CT)和核相关滤波算法(kernelized correlation filters,KCF)在多目标奶牛反刍监测中的性能。为了验证不同算法对奶牛反刍行为监测的效果,分别用9段视频进行了试验,针对误检问题提出了有效的咀嚼次数判定模型,最后与实际的奶牛反刍数据进行了对比。试验结果表明:对多目标监测,KCF算法平均帧处理速度为7.37帧/s,是CT算法平均帧处理速度0.51帧/s的14.45倍;KCF算法平均误差为13.27像素,是CT算法平均误差38.28像素的34.67%。对双目标监测,KCF算法的平均误检率为7.72%,比CT算法的平均误检率18.56%低10.84个百分点;2种算法的帧处理速度分别为10.11帧/s和0.87帧/s;平均跟踪误差分别为22.19像素和28.51像素,KCF算法的平均跟踪误差仅为CT算法的77.83%。试验结果表明,KCF算法具有较低的误检率及较高的帧处理速度,更适合奶牛反刍行为的监测。在此基础上,验证了2种算法在不同光照、不同姿态和不同程度遮挡等影响因素下的监测效果,结果表明,CT算法会出现不同程度的偏离,甚至丢失目标,而KCF算法仍然具有良好的效果和较好的适应性,表明将KCF算法应用于全天候多目标奶牛反刍行为的分析是可行的、有效的。     

奶牛隐性乳房炎便携式计算机视觉快速检测系统设计与试验

为解决奶牛隐性乳房炎难以防治的问题,构建了一种基于计算机视觉技术的快速检测系统。通过电脑与USB摄像头采集牛奶p H测试纸图像,提出了一种融合颜色特征与形态学处理的分割方法,分割化学反应区并获取RGB值,使用Foss5000牛乳体细胞分析仪得到牛奶体细胞实测值,采取幂回归法建立RGB值与牛奶体细胞数的预测模型,并基于Android技术开发了便携式移动终端设备。牛场实测20组数据试验结果显示,牛奶体细胞数估测值与实测值相关系数为0.970,估测平均相对误差为3.67%,标准差为1.88%。系统估测牛奶体细胞数较为准确,可用于奶牛隐性乳房炎快速检测。     

基于卷积神经网络的奶牛个体身份识别方法

视频分析技术已越来越多地应用于检测奶牛行为以给出养殖管理决策,基于图像处理的奶牛个体身份识别方法能够进一步提高奶牛行为视频分析的自动化程度。为实现基于图像处理的无接触、高精确度、适用性强的奶牛养殖场环境下的奶牛个体有效识别,提出用视频分析方法提取奶牛躯干图像,用卷积神经网络准确识别奶牛个体的方法。该方法采集奶牛直线行走时的侧视视频,用帧间差值法计算奶牛粗略轮廓,并对其二值图像进行分段跨度分析,定位奶牛躯干区域,通过二值图像比对跟踪奶牛躯干目标,得到每帧图像中奶牛躯干区域图像。通过理论分析和试验验证,确定了卷积神经网络的结构和参数,并将躯干图像灰度化后经插值运算和归一化变换为48×48大小的矩阵,作为网络的输入进行个体识别。对30头奶牛共采集360段视频,随机选取训练数据60 000帧和测试数据21 730帧。结果表明,在训练次数为10次时,代价函数收敛至0.0060,视频段样本的识别率为93.33%,单帧图像样本的识别率为90.55%。该方法可实现养殖场中奶牛个体无接触精确识别,具有适用性强、成本低的特点。     

利用Kalman滤波和Hungarian算法的多目标奶牛嘴部跟踪及反刍监测

针对奶牛养殖场复杂环境下多目标奶牛嘴部自动跟踪及反刍监测的困难,该研究提出了一种基于嘴部区域跟踪的多目标奶牛反刍行为智能监测方法。在YOLOv4模型识别奶牛嘴部上下颚区域的基础上,以Kalman滤波和Hungarian算法跟踪上颚区域,并对同一奶牛目标的上颚和下颚区域进行关联匹配获取嘴部咀嚼曲线,以此获取反刍相关信息,从而实现多目标奶牛个体的嘴部跟踪和反刍行为监测;为解决奶牛快速摆头运动和棚舍栏杆遮挡引发奶牛标号变化的问题,提出未匹配跟踪框保持及扩大的方法。采集并选择实际养殖场环境下的反刍奶牛视频66段,对其中58段视频采取分帧操作得到图像,制作YOLOv4模型数据集,以其余8段视频验证跟踪方法和反刍行为判定方法的有效性。试验结果表明,YOLOv4模型对奶牛嘴部上颚、下颚区域的识别准确率分别为93.92%和92.46%;改进的跟踪算法可实现复杂环境下多目标奶牛嘴部区域的稳定跟踪,且有效解决了栏杆遮挡、快速摆头运动造成的奶牛标号变化现象,上下颚匹配率平均为99.89%,跟踪速度平均为31.85帧/s;由反刍行为判定方法获取的咀嚼次数正确率的平均值为96.93%,反刍时长误差的平均值为1.48 s。该研究可为实际养殖中多目标奶牛反刍行为的智能监测和分析提供参考,也可供其他群体动物运动部位的跟踪和行为监测借鉴。     

基于改进YOLOV5s网络的奶牛多尺度行为识别方法

奶牛站立、喝水、行走、躺卧等日常行为与其生理健康密切相关,高效准确识别奶牛行为对及时掌握奶牛健康状况,提高养殖场经济效益具有重要意义。针对群体养殖环境下奶牛行为数据中,场景复杂、目标尺度变化大、奶牛行为多样等对行为识别造成的干扰,该研究提出一种改进YOLOV5s奶牛多尺度行为识别方法。该方法在骨干网络顶层引入基于通道的Transformer注意力机制使模型关注奶牛目标区域,同时对奶牛多尺度行为目标增加路径聚合结构的支路与检测器获取底层细节特征,并引入SE（Squeeze-and-Excitation Networks）注意力机制优化检测器,构建SEPH（SE Prediction Head）识别重要特征,提高奶牛多尺度行为识别能力。试验验证改进后的奶牛行为识别模型在无权重激增的同时,多尺度目标识别结果的平均精度均值较YOLOV5s提高1.2个百分点,尤其是对奶牛行走识别结果的平均精度4.9个百分点,研究结果为群体养殖环境下,全天实时监测奶牛行为提供参考。