利用Kalman滤波和Hungarian算法的多目标奶牛嘴部跟踪及反刍监测

针对奶牛养殖场复杂环境下多目标奶牛嘴部自动跟踪及反刍监测的困难,该研究提出了一种基于嘴部区域跟踪的多目标奶牛反刍行为智能监测方法。在YOLOv4模型识别奶牛嘴部上下颚区域的基础上,以Kalman滤波和Hungarian算法跟踪上颚区域,并对同一奶牛目标的上颚和下颚区域进行关联匹配获取嘴部咀嚼曲线,以此获取反刍相关信息,从而实现多目标奶牛个体的嘴部跟踪和反刍行为监测;为解决奶牛快速摆头运动和棚舍栏杆遮挡引发奶牛标号变化的问题,提出未匹配跟踪框保持及扩大的方法。采集并选择实际养殖场环境下的反刍奶牛视频66段,对其中58段视频采取分帧操作得到图像,制作YOLOv4模型数据集,以其余8段视频验证跟踪方法和反刍行为判定方法的有效性。试验结果表明,YOLOv4模型对奶牛嘴部上颚、下颚区域的识别准确率分别为93.92%和92.46%;改进的跟踪算法可实现复杂环境下多目标奶牛嘴部区域的稳定跟踪,且有效解决了栏杆遮挡、快速摆头运动造成的奶牛标号变化现象,上下颚匹配率平均为99.89%,跟踪速度平均为31.85帧/s;由反刍行为判定方法获取的咀嚼次数正确率的平均值为96.93%,反刍时长误差的平均值为1.48 s。该研究可为实际养殖中多目标奶牛反刍行为的智能监测和分析提供参考,也可供其他群体动物运动部位的跟踪和行为监测借鉴。     

基于卡尔曼滤波的橘小实蝇成虫运动轨迹优化跟踪

为了实现橘小实蝇虫口密度的精准监测,该文将机器视觉技术作为田间橘小实蝇成虫入侵自动化监测的感知方法。通过对监测区域内运动目标和背景的颜色分析,提出了基于卡尔曼(Kalman)滤波的运动目标颜色均值漂移跟踪算法,优化了多目标运动轨迹跟踪效果。该算法通过图像处理和匹配技术提取了橘小实蝇成虫在虫口监测区域二维平面X轴和Y轴方向上的位置坐标和速度分量,推算了橘小实蝇成虫运动轨迹递推关系。基于动态系统的状态序列线性最小方差估计理论和成虫运动轨迹关系分析,构建了卡尔曼滤波状态估计模型,并建立其预测和修正方程实现了橘小实蝇成虫运动目标位置估计。通过在虫口监测区域开展单目标和多目标分散及粘连条件下的成虫跟踪试验,试验结果表明颜色均值漂移跟踪算法对橘小实蝇成虫单目标跟踪具有较好的适应性,成虫监测计数准确率达100%,对于多目标分散和粘连情况跟踪处理效果较差,计数准确率分别下降至86%和76%;通过在颜色空间均值漂移跟踪算法的基础上引入Kalman滤波器估算目标运动的近似位置,实现了对橘小实蝇成虫分散和粘连多目标运动的持续跟踪优化,监测计数准确率分别提升至96%和93%。机器视觉技术实时跟踪橘小实蝇成虫在虫口监测区域运动轨迹试验进一步验证了橘小实蝇成虫虫口密度监测的可行性,为田间橘小实蝇成虫发生自动化监测技术研究提供了参考。     

基于Mean shift的筛面物料颗粒目标运动轨迹跟踪

为了获取农业物料在风筛式清选筛面的实际运动规律,通过对多颗粒散体中的目标颗粒进行着色处理,提出采用基于颜色特征向量的Mean shift算法,实现对目标运动轨迹的跟踪。算法根据Bhattacharyya系数的大小判定跟踪目标是否被遮挡,并引入了Kalman滤波器设计。在正常跟踪过程中,利用Kalman滤波器预测每帧Mean shift算法的起始位置,然后利用Mean shift算法对目标进行精确定位,当目标被遮挡时,将其运动视为时不变系统,并通过Kalman滤波器估算目标近似位置。试验结果表明,该方法在复杂背景和光照变化条件下,实现了对快速运动目标的稳定持续跟踪,具有很好的鲁棒性,为散体颗粒运动规律的研究提供了一种图像检测方法。     

基于时序图像跟踪的葡萄叶片病害动态监测

为提高自然成像条件下的酿酒葡萄图像中病害识别的可靠性,对时序叶片图像作连续病害检测并监测病斑变化情况。首先,在每一天利用Faster R-CNN算法对摄像机视场中葡萄叶片进行检测,对检测到的叶片采用改进卡尔曼滤波法进行跟踪,以获得叶片正面图像。为了实现多叶片跟踪和解决由遮挡而造成的跟踪失败问题,该文在卡尔曼滤波和匈牙利算法基础上,结合运动测度和深度外观信息对跟踪目标进行匹配,运动匹配时采用马氏距离,外观匹配方面采用最小余弦距离。其次,将不同日期的叶片正面图像做SIFT(scale-invariant feature transform)匹配,找到同一叶片按日期排列的一组序列图像,并在序列图像中通过深度学习技术进行病害识别。最后,通过监测叶片序列图像上病斑相对面积变化或病斑数量是否增加来确认病害的存在。该文对提出的跟踪算法、叶片匹配算法和序列图像上病害识别的精度进行了测试,试验表明:跟踪算法平均多目标跟踪准确度为73.6%,多目标跟踪精度为74.6%,基于判别模型颜色特征的传统跟踪算法两指标分别为14.3%和61.3%;基于SIFT特征的叶片匹配在识别同一叶片时的精度达到了90.9%;病害监测方面,虚警综合排除率(马修斯相关系数)达到了84.3%。该文的方法可以排除一些虚假病害,病害监测的可靠性有所提高,可适用于自然条件下葡萄病害的连续在线监测。     

基于改进可变形部件模型与判别模型的葡萄叶片检测与跟踪

为解决酿酒葡萄生长状态自动监测问题,该文提出基于机器视觉和视频处理技术的自动监测系统,开发了多角度可变形部件模型的葡萄叶片检测算法和基于颜色特征的判别模型跟踪算法。在叶片检测方面,该算法对颜色特征图像采用可变形部件模型训练出多角度叶片检测器,通过多模型匹配后产生叶片检测候选集合,选择集合中得分最高的检测结果作为最后的定位信息;在跟踪方面,结合图像中目标的颜色直方图,建立具有区分背景和目标的组合判别模型,并将位置函数的最大值作为相邻帧的目标位置,从而实现对叶片目标的实时跟踪。试验结果表明,该文检测算法对自然条件下的葡萄叶片平均检测率为88.31%,误检率为8.73%;叶片跟踪的准确性也相对较高,其重叠率高达0.83,平均中心误差为17.33像素,其证明了该算法的有效性,研究结果为葡萄生长状态的自动分析提供参考。     

改进TransTrack多目标生猪行为跟踪方法

高效准确地监测群养生猪的行为变化以获取其生理、健康和福利状况，对于实现生猪智能精细化养殖具有重要意义。针对猪场自然场景下光照变化和猪只粘连遮挡等因素影响，使得猪只行为跟踪中存在误检、漏检和身份频繁错误变换问题，该研究提出一种改进的TransTrack多目标生猪行为跟踪方法。首先，在目标检测模块中，采用改进的并集交并比的匹配算法，去除猪只遮挡导致的目标误检检测框。然后，在跟踪模块中，根据高低匹配阈值进行2次数据关联，提高光照变化下漏检目标的跟踪准确性。最后，针对误检与漏检导致跟踪中猪只身份错误变换，根据猪栏中猪只数量信息，限制猪只身份编号值的错误增加，提高猪只身份准确识别率。在公开数据集和私有数据集上的试验结果表明，改进的TransTrack在多目标跟踪准确率（multiple object tracking accuracy,MOTA），高阶跟踪准确率（higher order tracking accuracy, HOTA）和身份变换（identityswitches, IDs）分别为92.0%、 69.8%和210。在公开数据集中，对比Trackformer,JDE和TransTr...     

基于纹理颜色模型的高原鼠兔突变运动跟踪

针对自然生境环境下高原鼠兔跟踪中,鼠兔毛色呈保护色与背景颜色相近以及运动随机的问题,构造了一种局部纹理差异性算子LTDC(local ternary difference count),来表征目标和背景之间的细微差异性,弥补了采用单一LTC(local ternary count)算子的不足。通过运动信息来判断鼠兔的运动模式,不同的模式采用不同的采样跟踪策略。把所构造的LTDC算子与R(red)G(green)B(blue)颜色信息相结合来表示目标,并把该目标表示模型引入到运动信息引导的高原鼠兔跟踪方法中。通过对采集的秋冬季节高原鼠兔视频图像进行测试,分析跟踪的成功率和误差,得到的LTDC纹理颜色模型的目标表示方法在鼠兔发生突变运动时,由于采用了运动信息引导的采样跟踪方式,能够有效地捕获突变目标,跟踪成功率达到97.93%。在鼠兔发生平滑运动时,尽管目标与背景颜色相近,依然能够稳定地跟踪目标,跟踪误差较小,误差波动范围也较小,误差均值为19.56,误差方差为74.24。试验结果表明:所提出的跟踪方法具有较强的目标与背景区分能力,在目标和背景颜色相近、运动复杂的场景中,能够较为准确地实现高原鼠兔目标的定位。     

基于计算机视觉技术的运动鱼检测算法

为了提高水中鱼的运动检测精度,该文在分析比较图像和视觉领域常用的运动目标检测算法的基础上,提出了3种适合于运动鱼检测的改进算法。试验结果表明,该文提出的算法在检测鱼的快速运动方面要优于传统算法,特别是帧间差分和运动平均背景建模结合方法较其他算法在平均检测时间和检测精度方面更具优势,在鱼类运动检测方面有较大的应用潜力。     

基于深度学习与目标跟踪的苹果检测与视频计数方法

基于机器视觉技术自动检测苹果树上的果实并进行计数是实现果园产量测量和智慧果园生产管理的关键。该研究基于现代种植模式下的富士苹果视频,提出基于轻量级目标检测网络YOLOv4-tiny和卡尔曼滤波跟踪算法的苹果检测与视频计数方法。使用YOLOv4-tiny检测视频中的苹果,对检测到的果实采用卡尔曼滤波算法进行预测跟踪,基于欧氏距离和重叠度匹配改进匈牙利算法对跟踪目标进行最优匹配。分别对算法的检测性能、跟踪性能和计数效果进行试验,结果表明：YOLOv4-tiny模型的平均检测精度达到94.47%,在果园视频中的检测准确度达到96.15%;基于改进的计数算法分别达到69.14%和79.60%的多目标跟踪准确度和精度,较改进前算法分别提高了26.86和20.78个百分点;改进后算法的平均计数精度达到81.94%。该研究方法可有效帮助果农掌握园中苹果数量,为现代化苹果园的测产研究提供技术参考,为果园的智慧管理提供科学决策依据。     

玉米除草机器人视觉导航系统设计与试验

玉米苗带准确检测与精准跟踪是玉米除草机器人实现自主作业的重要基础。针对玉米除草机器人苗带检测，该研究提出了基于感兴趣区域更新的玉米苗带实时识别及导航线提取方法，首先利用单目相机采集机器人前向玉米苗带，将苗带图像进行归一化和超绿处理，采用改进自适应响应阈值SUSAN(small univalue segment assimilating nucleus)角点法以及冗余离群特征点剔除法获得玉米苗特征点，以改进的顺序聚类算法对视频帧进行玉米苗带聚类处理，再利用最小二乘法拟合出各玉米苗带，最后基于机器人航向偏差和其相对玉米苗带的横向偏差实时调整感兴趣区域和更新导航线；同时，针对除草机器人苗带行线跟踪，提出以运动学为模型的PID(proportionintegrationdifferentiation)转向角决策方法，建立了导航跟踪控制模型；并在Visual Studio平台下，利用OpenCV库开发了导航控制系统。试验结果表明，玉米除草机器人导航线提取准确率为96.8%，每帧图像平均处理时间为87.39ms，具有较好的实时性和抗干扰性；在模拟环境下，玉米苗带直线和曲线跟踪平均误差≤1.42 c...     

基于凸壳的重叠苹果目标分割与重建算法

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

Segmentation and reconstruction of overlappedapple images based on convex hull

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

基于物联网的生猪运动行为及猪舍环境远程监控系统

In intensive and large-scale livestock breeding, how to evaluate welfare of each individual effectively has become one hotspot of welfare breeding.In this study, a remote monitor system based on computer vision technology and wireless sensor networks was proposed.In the system, pig videos in the piggery were captured by IP cameras and transmitted remotely to PC systems for objects tracking and trajectory extraction, and the piggery environmental data such as temperature, humidity and harmful gases were collected by wireless sensor networks(WSN) nodes.Traditional Camshift tracking algorithm was improved.The average root mean square errors of traditional and improved algorithm were 78.07 and 32.29, indicating the improved algorithm reduced error and improved tracking stability.The results of the real-time monitoring of environmental parameters by WSN showed that the hydrogen and ammonia concentrations, and the ambient temperature were all kept in the normal range, while the carbon dioxide concentration was exceeded, and the air humidity was slightly high.Through data mining, precise welfare monitoring and breeding management were realized.     

基于物联网的生猪运动行为及猪舍环境远程监控系统（英文）

In intensive and large-scale livestock breeding,how to evaluate welfare of each individual effectively has become one hotspot of welfare breeding.In this study,a remote monitor system based on computer vision technology and wireless sensor networks was proposed.In the system,pig videos in the piggery were captured by IP cameras and transmitted remotely to PC systems for objects tracking and trajectory extraction,and the piggery environmental data such as temperature,humidity and harmful gases were collected by wireless sensor networks(WSN)nodes.Traditional Camshift tracking algorithm was improved.The average root mean square errors of traditional and improved algorithm were 78.07 and 32.29,indicating the improved algorithm reduced error and improved tracking stability.The results of the real-time monitoring of environmental parameters by WSN showed that the hydrogen and ammonia concentrations,and the ambient temperature were all kept in the normal range,while the carbon dioxide concentration was exceeded,and the air humidity was slightly high.Through data mining,precise welfare monitoring and breeding management were realized.     

混联自稳跟踪平台及控制系统设计与试验

为克服舰船摇摆所带来的影响,拓宽电视跟踪设备的使用环境,该文提出了一种五自由度具有2层结构的自稳跟踪平台。上层为两自由度的跟踪平台,采用串联式U-U结构,即U型外框绕外环轴(铅垂)旋转,U形内框绕内环轴(水平)旋转;下层为三自由度的自稳平台,采用并联式3UPS/PU结构,3个UPS为驱动分支,中间PU为约束分支。分别建立了跟踪平台和自稳平台的数学模型,推导了跟踪平台引导算法和自稳平台运动学反解算法。试验结果表明:当选用0.5 Hz、5.1?幅值的正弦曲线作为目标跟踪曲线时,自稳跟踪平台跟踪精度优于0.02?;自稳平台的稳定频率优于1 Hz(双十,幅值1.5?);以频率0.1 Hz,幅值30?进行正弦摇摆时,动态自稳精度优于0.3?。该研究将跟踪功能和自稳功能相结合,可为渔船定点撒网、收网以及农作物精准种植、收割等设备的开发提供参考。     

基于多特征融合的粒子滤波生猪采食行为跟踪

针对中国养猪业规模化、集约化迅猛发展过程中,人工观察监测记录生猪生长情况需损耗大量人力和物力,得到数据误差大的问题,该文提出将颜色特征与目标轮廓形心特征融合,基于粒子滤波算法实现生猪采食行为跟踪,当目标跟踪矩形框中心坐标和跟踪目标轮廓形心坐标之间的横坐标偏差大于跟踪目标轮廓横坐标方向的最大值与最小值的差的一半时,或其之间的纵坐标偏差大于跟踪目标轮廓纵坐标方向的最大值与最小值的差一半时,对基于颜色特征粒子滤波算法得到的跟踪矩形框的中心坐标进行二次修正,提高了目标生猪跟踪的可靠性和鲁棒性;通过对比试验,结果表明:该方法能够对目标生猪的采食行为进行自动跟踪、记录和分析,记录的目标生猪一天内的采食次数和采食时间与人工记录结果基本相同,有效跟踪平均精度为93.4%。     

采用运动图像处理检测排种器充填性能

针对人工测量和光电检测排种器性能的弊端,提出了采用运动图像处理检测排种器充填性能的方法。研制了检测多目标高速运动物体(种子)计算机图像处理系统,分析了光照对抓拍运动物体的影响和图像的采集过程,给出了系统的拍摄区域和合理的图像处理窗口,并运用最佳熵门限法准确提取目标和背景,建立了根据种子边缘、面积及种子之间的距离检测排种器充填性能的适用算法。试验表明:采用该系统误差小,速度快