基于改进YOLO v5s的轻量级奶牛体况评分方法

奶牛体况评分是评价奶牛产能与体态健康的重要指标。目前,随着现代化牧场的发展,智能检测技术已被应用于奶牛精准养殖中。针对目前检测算法的参数量多、计算量大等问题,以YOLO v5s为基础,提出了一种改进的轻量级奶牛体况评分模型(YOLO-MCE)。首先,通过2D摄像机在奶牛挤奶通道处采集奶牛尾部图像并构建奶牛BCS数据集。其次,在MobileNetV3网络中融入坐标注意力机制(Coordinate attention, CA)构建M3CA网络。将YOLO v5s的主干网络替换为M3CA网络,在降低模型复杂度的同时,使得网络特征提取时更关注于牛尾区域的位置和空间信息,从而提高了运动模糊场景下的检测精度。YOLO v5s预测层采用EIoU Loss损失函数,优化了目标边界框回归收敛速度,生成定位精准的预测边界框,进而提高了模型检测精度。试验结果表明,改进的YOLO v5s模型的检测精度为93.4%,召回率为85.5%,mAP@0.5为91.4%,计算量为2.0×10⁹,模型内存占用量仅为2.28 MB。相较原始YOLO v5s模型,其计算量降低87.3%,模型内存占用量减...     

基于Cow-DETR与深度图像的非接触式奶牛体质量评估

针对当前牧场奶牛体质量（体重）称量效率低,人工参与容易引发奶牛应激等问题,提出了一种基于改进DETR（Detection transformer）网络的端到端式奶牛体质量评估方法（Cow-DETR）,实现利用奶牛背部深度图像进行非接触式奶牛体质量评估。首先设计并搭建实验数据采集装置,利用Intel RealSense D435深度相机和体重秤采集奶牛背部深度图像和体质量数据;然后,通过边缘平滑滤波器和孔洞填充滤波器对深度图像进行补全处理,减少深度数据缺失对体质量评估的影响;最后,以DETR网络为基础建立奶牛体质量评估模型,通过在预测模块中添加含有交替全连接层的体质量预测单元,提升奶牛体质量相关的特征信息提取能力,实现端到端式奶牛背部定位的同时进行奶牛体质量非接触式评估。结果表明,本文方法可以实现较高精度的奶牛体质量评估,通过5倍交叉验证,在含有139头奶牛数据的数据集中,平均绝对误差不超过17.21kg,平均相对误差不超过3.71%,单幅图像平均识别时间为0.026s。通过与现有体质量评估方法相对比,本文方法比其他6种方法在更多的奶牛头数的数据集中取得了更低的平均绝对误差和平均相对误差,同时本文方法对奶牛站立姿势要求较低,更符合牧场实际生产需要,为奶牛体质量评估提供了新的解决思路。     

基于深度图像的奶牛表型特征获取

奶牛表型特征是评价奶牛成长状况的一项重要参数,为减少奶牛的应激性且能便捷地获取奶牛几何表型尺寸,运用图像处理技术提取奶牛表型特征参数,设计了一款针对深度图像和点云数据的奶牛几何表型特征获取系统。对奶牛深度图像采用背景减去法、阈值分割、滤波和空洞填充等方法获取奶牛目标区域,对目标采用边缘检测、角点检测和凸包运算等检测特征点,最后对应点云数据获得奶牛表型特征尺寸。系统现场试验结果表明,系统获取的体重准确性在98%以上,体尺准确性在96%以上,系统工作稳定、测量精度高,为实现数字化养殖打下了基础,具有很好的应用前景。      

基于深度图像的奶牛表型特征获取系统设计与试验

奶牛表型特征是评价奶牛成长状况的一项重要参数,为减少奶牛的应激性且能便捷地获取奶牛几何表型尺寸,运用图像处理技术提取奶牛表型特征参数,设计了一款针对深度图像和点云数据的奶牛几何表型特征获取系统。对奶牛深度图像采用背景减去法、阈值分割、滤波和空洞填充等方法获取奶牛目标区域,对目标采用边缘检测、角点检测和凸包运算等检测特征点,最后对应点云数据获得奶牛表型特征尺寸。系统现场试验结果表明,系统获取的体重准确性在98%以上,体尺准确性在96%以上,系统工作稳定、测量精度高,为实现数字化养殖打下了基础,具有很好的应用前景。     

基于关键帧提取与头颈部去除的奶牛体尺测量方法

为提高奶牛体尺测量的效率与精度,降低劳动强度,提出一种基于关键帧提取与头颈部去除的奶牛体尺测量方法。首先,搭建奶牛俯视深度视频采集平台,利用分水岭算法提取深度图像中的奶牛目标;其次,使用图像扫描策略获取奶牛左右两侧轮廓,利用基于霍夫变换的直线检测方法,提取图像序列中含有完整奶牛躯干的关键帧;然后,根据奶牛头部区域骨架特征判定头部是否存在,若头部存在,则基于凸包分析方法去除图像中奶牛头部,并利用多项式曲线拟合方法去除奶牛颈部;最后,根据奶牛体尺测点的空间特征,自动计算奶牛体直长、肩宽、腹宽、臀宽及体高。利用35头奶牛的2.163帧深度图像对本文方法精度进行测试,结果分析表明,关键帧提取方法准确率为97.36%,可有效代替人工进行关键帧的选取;头部检测方法准确率为94.04%,提高了奶牛体尺测点定位的效率;体尺测量平均相对误差在3.3%以内。本文研究成果可提高奶牛体尺自动测量的效率与精度。     

基于单视角点云镜像的猪只体尺测量方法

为了克服人工家畜体尺测量耗时、应激大和工作强度大等问题,提出了一种基于单视角点云镜像的猪只体尺测量方法。首先使用单Xtion深度相机采集包含猪体的场景点云图像序列,并人工筛选出包含背部弯曲程度较小猪体的场景点云图像,然后基于随机采样一致性算法和聚类分割算法自动化分割目标猪体并对其进行姿态归一化,检测单视角猪体点云对称面,并利用对称面镜像获取完整猪体,最后利用自主研发的体尺测量软件测量猪只体尺。试验结果表明,利用该方法测量体长的平均相对误差为5.00%,臀宽测量的平均相对误差为7.40%,臀高测量的平均相对误差为5.74%。该方法为猪只体尺测量提供了切实可行的新途径。     

基于时空特征的奶牛视频行为识别

准确、高效的奶牛行为识别有助于疾病检测、发现异常,是感知奶牛健康的关键。通过分析奶牛在牛场中各时段的行为,提出一种基于时空特征的奶牛行为识别模型,该模型在时域段网络(TSN)的基础上融合了时态移位模块(TSM)、特征注意单元(FAU)和长短期记忆(LSTM)网络。首先,利用TSM融合时间信息以提高时序建模能力,并将时序建模后的视频帧输入TSN。其次,利用FAU融合高分辨率空间信息和低分辨率语义信息,增强模型空间特征的学习能力。最后,由LSTM聚合过去和当前信息进行奶牛行为分类。实验表明,该方法对进食、行走、躺卧、站立行为识别准确率分别为76.7%、90.0%、68.0%、96.0%,平均行为识别准确率为82.6%,和C3D、I3D、CNN-LSTM网络相比,本文模型平均行为识别准确率分别提升7.9、9.2、9.6个百分点。光照变化会对奶牛行为识别准确率产生一定影响,但本文模型受光照影响相对较小。研究成果可为感知奶牛健康和疾病预防提供技术支持。     

基于点云精简的奶牛背部体尺测点自动提取方法

为了解决奶牛点云体尺测点的自动提取问题,提出了基于点云精简的奶牛背部体尺测点自动提取方法。首先,搭建奶牛深度视频采集平台采集数据,对Kinect相机采集到的奶牛背部原始点云数据进行预处理,去除周围复杂背景;其次,采用主成分分析法计算局部平面法矢量和曲率,对奶牛背部点云进行精简,去除噪声点和冗余点,保留奶牛背脊部和边界轮廓的特征点;最后,根据奶牛背部体尺测点的几何特征和测点间的空间结构关系,对精简后的奶牛背部点云数据进行体尺测点的自动提取。采集了33头奶牛的完整背部深度视频数据,每头奶牛选取10帧,共计330帧试验数据。利用本文方法提取到的所有体尺测点的平均绝对误差均小于1. 17 cm,与非均匀网络法相比,经本文方法处理后的体尺测点提取时间缩短了33. 72%。本文研究结果可为奶牛体尺自动化测量提供技术支持。     

基于VGG-ST模型的奶牛粪便形态分类方法研究

快速准确识别奶牛粪便形态,对于奶牛肠胃健康监测与精细管理具有重要意义。针对目前奶牛粪便识别人工依赖强、识别难度大等问题,提出了一种基于VGG-ST（VGG-Swin Transformer）模型的奶牛稀便、软便、硬便及正常粪便图像识别与分类方法。首先,以泌乳期荷斯坦奶牛粪便为研究对象,采集上述4种不同形态的粪便图像共879幅,利用翻转、旋转等图像增强操作扩充至5580幅作为本研究数据集;然后,分别选取Swin Transformer、AlexNet、ResNet-34、ShuffleNet和MobileNet 5种典型深度学习图像分类模型进行奶牛粪便形态分类研究,通过对比分析,确定Swin Transformer为最优基础分类模型;最后,融合VGG模型与Swin Transformer模型,构建了VGG-ST模型,其中,VGG模型获取奶牛粪便局部特征,同时Swin Transformer模型提取全局自注意力特征,特征融合后实〖JP3〗现奶牛粪便图像分类。实验结果表明,Swin Transformer模型在测试集中分类准确率达859%,与ShuffleNet、ResNet-34、MobileNet、AlexNet模型相比分别提高1.8、4.0、12.8、23.4个百分点;VGG-ST模型分类准确率达89.5%,与原Swin Transformer模型相比提高3.6个百分点。该研究可为奶牛粪便形态自动筛查机器人研发提供方法参考。     

基于点云数据的测树因子自动提取方法

树冠的结构复杂、形态各异,测树因子的自动、准确、无损测量是森林调查中的一个重要研究项目。以三维激光扫描仪获取的三维点云数据为研究对象,基于计算几何学的寻找凸包算法,自动提取树冠的表面积、投影面积以及体积等测树因子。为验证算法的准确性,随机选取8个树种的120株待测立木进行试验,试验表明该方法测得的立木树高平均相对误差为2.33%,胸径平均相对误差为1.10%,冠幅平均相对误差为3.92%,自动解算的树冠表面积、树冠投影面积以及树冠体积相对于传统方法测得的参考值的平均相对误差分别为3.48%、6.01%和5.59%。因此以三维激光扫描仪获取点云数据,运用三维凸包算法,能够自动准确计算这些原本难以精确测量的因子,为应用三维激光扫描仪自动提取立木的测树因子提供了参考。     

基于机器视觉的奶牛发情行为自动识别方法

及时检测奶牛发情、适时人工授精、减少空怀奶牛,是奶牛养殖场增加产奶量的关键手段。针对基于运动量和体温等体征的接触式奶牛发情识别方法会造成奶牛应激反应且识别准确率不高的问题,提出了一种非接触式奶牛发情行为自动识别方法。该方法首先使用改进的高斯混合模型实现运动奶牛目标检测,然后基于颜色和纹理信息去除干扰背景,再利用AlexNet深度学习网络训练奶牛行为分类网络模型,识别奶牛爬跨行为,最终实现对奶牛发情行为的自动识别。在供试数据集上的试验结果表明,本文方法对奶牛发情的识别准确率为100%,召回率为88.24%。本文方法可应用于奶牛养殖场的日常发情监测中,为生产管理提供辅助决策。     

基于双向极角的植物叶凸包生成算法

为了描述和提取植物叶的形状特征,需要生成植物叶的凸包.首先,通过图像分割,获得植物叶原始图像的二值图像;其次,利用轮廓跟踪算法,获得植物叶轮廓的简单多边形;最后,利用基于双向极角的卷包裹法,生成植物叶的凸包.该算法计算复杂度为O(Nh).试验表明,算法满足图像旋转不变性要求,适用于多种不同形状的植物叶.     

基于改进凸壳理论的遮挡油茶果定位检测算法

针对传统凸壳理论进行遮挡果实定位检测时由于过多剔除有效轮廓,造成目标果实定位误差较大,甚至无法识别目标果实的问题,提出了一种基于改进凸壳理论的遮挡油茶果定位检测算法。首先利用基于颜色特征的阈值分割法对油茶果遮挡图像进行目标分割,并通过预处理操作剔除图像中的背景噪声,获得目标果实的二值图像;然后采用凹点搜寻算法检测重叠目标的凹点,并根据凹点对重叠目标进行分离,获得相互独立的目标图像;再构建各独立目标的凸包,并提取凸壳,利用轮廓提取算法确定各独立目标凸壳上的有效轮廓;最后根据提取的有效轮廓求解目标果实形心坐标和半径,完成遮挡果实的定位检测。试验结果表明,改进算法平均耗时为0.491 s,比传统凸壳方法增加了24.07%,但其仅占油茶果采摘机器人单个果实采摘周期的2.46%,对于图像中的遮挡油茶果目标,改进方法的识别率达到93.21%,相比传统凸壳方法提升了7.47个百分点,改进算法的平均定位检测误差和平均重合度分别为5.53%和93.43%,比传统凸壳算法平均定位误差降低了6.22个百分点,平均重合度提高了6.79个百分点,表明文中所提出的方法能够较好地识别和定位自然环境中的遮挡油茶果。     

基于改进YOLO v7的生猪群体体温热红外自动检测方法

针对当前生猪规模化养殖过程中基于热红外技术的生猪体温测量效率低的问题,提出了一种基于改进YOLO v7的生猪群体体温检测方法。改进YOLO v7算法在Head层引入VoV-GSCSP结构,降低网络结构复杂度;使用内容感知特征重组(Content-aware reassembly of features,CARAFE)替换模型原始上采样算子,提高特征图放大后的品质,强化生猪头部区域有效特征;引入感受野增强模块（Receptive field enhancement module,RFE）,增强特征金字塔对生猪头部特征的提取能力。本文改进YOLO v7算法对于生猪头部的检测精确率为87.9%,召回率为92.5%,平均精度均值（Mean average precision,mAP）为94.7%。与原始YOLO v7相比,精确率提高3.6个百分点,召回率提高7.0个百分点,mAP提高3.6个百分点。该方法首先自动检测生猪头部区域,再利用头部最大温度与耳根温度的高相关性,最终自动获取生猪体温。温度提取平均绝对误差仅为0.16℃,检测速度为222f/s,实现了生猪群体体温的实时精准检测。综合上述试验结果表明,该方法能够自动定位生猪群体的头部区域,满足生猪群体体温测定的高效和高精度要求,为群养生猪体温自动检测提供了有效的技术支撑。     

基于双金字塔网络的RGB-D群猪图像分割方法

为实现群养猪的视觉追踪和行为监测,针对猪舍中仔猪因拥挤堆叠等习性而导致的目标个体粘连、图像分割困难问题,提出基于双金字塔网络的RGB-D群猪图像分割方法。该方法基于实例分割Mask R-CNN框架,在特征提取网络(Res Net101)基础上改进成双金字塔特征提取网络。RGB图像和Depth图像分别提取特征后进行融合,输入区域生成网络得到预选锚(ROI)和共享特征输入Head网络,通过类别、回归和掩模3个分支,输出检测目标的位置和分类结果,实现猪舍场景下群养仔猪粘连区域的有效个体分割。网络模型训练采用2 000组图像样本,按照4∶1比例随机划分训练集和验证集。试验结果表明,双金字塔网络(Feature pyramid networks,FPN)能有效解决颜色相近、个体相似的群猪粘连问题,实现单个仔猪区域的完整分割,分割准确率达89.25%,训练GPU占有率为77.57%,与Mask R-CNN和Pig Net网络分割结果相比,分割准确率和分割速度均有较大提高。双金字塔网络模型对于多种行为状态、不同粘连程度的群猪图像中个体分割都取得了良好效果,模型泛化性和鲁棒性较好,为群养猪的个体自动追踪提供了新的途径。     

基于卷积神经网络的奶牛发情行为识别方法

对奶牛发情的及时监测在奶牛养殖中至关重要。针对现有人工监测奶牛发情行为费时费力、计步器接触式监测会产生奶牛应激行为等问题,根据奶牛发情的爬跨行为特征,提出一种基于卷积神经网络的奶牛发情行为识别方法。构建的卷积神经网络通过批量归一化方法提高网络训练速度,以Max-pooling为下采样,修正线性单元(Rectified linear units,Re LU)为激活函数,Softmax回归分类器为输出层,结合理论分析和试验验证,确定了32×32-20c-2s-50c-2s-200c-2的网络结构和参数。经过对奶牛活动区50头奶牛6个月的视频监控,筛选了具有发情行为爬跨特征的视频150段,随机选取网络训练数据23 000幅和测试数据7 000幅,对构建的网络进行了训练和测试。试验结果表明:本文方法对奶牛发情行为识别准确率为98. 25%,漏检率为5. 80%,误识别率为1. 75%,平均单幅图像识别时间为0. 257 s。该方法能够实现奶牛发情爬跨的无接触实时监测,对奶牛发情行为具有较高的识别率,可显著提高规模化奶牛养殖的管理效率。     

基于深度学习的群猪图像实例分割方法

群养饲喂模式下猪群有聚集在一起的习性,特别是躺卧时,当使用机器视觉跟踪监测猪只时,图像中存在猪体粘连,导致分割困难,成为实现群猪视觉追踪和监测的瓶颈。根据实例分割原理,把猪群中的猪只看作一个实例,在深度卷积神经网络基础上建立Pig Net网络,对群猪图像尤其是对粘连猪体进行实例分割,实现独立猪体的分辨和定位。Pig Net网络采用44层卷积层作为主干网络,经区域候选网络(Region proposal networks,RPN)提取感兴趣区域(ROI),并和主干网络前向传播的特征图共享给感兴趣区域对齐层(Region of interest align,ROIAlign),分支通过双线性插值计算目标空间,三分支并行输出ROI目标的类别、回归框和掩模。Mask分支采用平均二值交叉熵损失函数计算独立猪体的目标掩模损失。连续28 d采集6头9. 6 kg左右大白仔猪图像,抽取前7 d内各不同时段、不同行为模式群养猪图像2 500幅作为训练集和验证集,训练集和验证集的比例为4∶1。结果表明,Pig Net网络模型在训练集上总分割准确率达86. 15%,在验证集上准确率达85. 40%。本文算法对不同形态、粘连严重的群猪图像能够准确分割出独立的猪个体目标。将本文算法与Mask R-CNN模型及其改进模型进行对比,准确率比Mask RCNN模型高11. 40个百分点,单幅图像处理时间为2. 12 s,比Mask R-CNN模型短30 ms。     

基于田间图像的局部遮挡小尺寸稻穗检测和计数方法

大田水稻生长环境复杂,稻穗尺寸相对较小,且与叶片之间贴合并被遮挡严重,准确识别复杂田间场景中的水稻稻穗并自动统计穗数具有重要意义。为了实现对局部被叶片遮挡的小尺寸稻穗的计数,设计了一种基于生成特征金字塔的稻穗检测(Generative feature pyramid for panicle detection,GFP-PD)方法。首先,针对小尺寸稻穗在特征学习时的特征损失问题,量化分析稻穗尺寸与感受野大小的关系,通过选择合适的特征学习网络减少稻穗信息损失;其次,通过构造并融合多尺度特征金字塔来增强稻穗特征。针对稻穗特征中因叶片遮挡产生的噪声,基于生成对抗网络设计遮挡样品修复模块(Occlusion sample inpainting module,OSIM),将遮挡噪声修复为真实稻穗特征,优化遮挡稻穗的特征质量。对南粳46水稻的田间图像进行模型训练与测试,GFP-PD方法对稻穗计数的平均查全率和识别正确率为90.82%和99.05%,较Faster R-CNN算法计数结果分别提高了16.69、5.15个百分点。仅对Faster R-CNN算法构造特征金字塔,基于VGG16网络的平均查全率和识别正确率分别为87.10%和93.87%,较ZF网络分别提高3.75、1.20个百分点;进一步使用OSIM修复模型、优化稻穗特征,识别正确率由93.87%上升为99.05%。结果表明,选择适合特征学习网络和构建特征金字塔能够显著提高田间小尺寸稻穗的计数查全率; OSIM能够有效去除稻穗特征中的叶片噪声,有利于提升局部被叶片遮挡的稻穗的识别正确率。