基于Kinect相机的猪体理想姿态检测与体尺测量

为提高基于机器视觉的猪体体尺测量研究中的图像利用率和体尺测量效率,以长白猪和大白猪为研究对象,基于Kinect相机获取的猪体视频数据,提出了一种猪体理想姿态检测算法。该算法利用最小外接矩形法调整猪体为水平方向;利用投影法和差分法识别头部和尾部位置,通过头部边界标记法判断是否耳部缺失;利用骨骼化算法结合霍夫变换算法检测猪体头部是否歪斜。在此基础上,设计了猪体体尺测量算法。针对养殖场获取的103组视频数据、俯视和侧视各52 016帧图像,进行了理想姿态检测及体尺测量。结果表明,检测出理想姿态2 592帧、漏报432帧、误报0帧,误报率较低;每帧图像的体长偏差与本组体长均值小于2. 3%,组内理想姿态帧之间差异较小,一致性较好;体宽测量的平均精确度为95. 5%,体高测量的平均精确度为96. 3%,体长测量的平均精确度为97. 3%,测量的平均准确度较高。本研究成果应用于基于机器视觉的猪体体尺测量,可提高图像利用率和体尺测量效率。     

基于双视角图像的山羊体尺自动测量方法

针对规模化羊场对山羊体尺无接触式自动测量的需求,设计了一种山羊双视角图像采集装置并开发了配套的山羊体尺自动测量算法。首先,开发了山羊双视角图像自动采集装置并在养殖场完成山羊双视角图像数据集的构建;然后,采用背景减除法二值化羊体俯视图,引入简单线性迭代聚类算法(SLIC)构建侧视图超像素的纹理和颜色特征向量,训练基于支持向量机(SVM)的超像素分类器,综合利用置信度和超像素区域邻接图(RAG)获取侧视图中的羊体二值图;最后,提出了在侧视和俯视二值图像中定位关键体尺特征点的方法,自动提取山羊体高、体斜长、胸深、胸宽、管径参数,拟合得到胸围和管围参数。算法测试结果表明,羊体侧视图前景区域超像素分类正确率超过94%,算法自动提取与人工标注的侧视、俯视前景二值图的交并比分别为96.1%和97.5%。以人工使用软尺测量获得体尺参数为金标准评价算法自动提取体尺参数的精度,结果表明管围、体高、胸深、胸宽、胸围和体斜长的平均相对误差分别为5.5%、3.7%、2.6%、5.2%、4.1%和3.9%。本文开发的羊体双视角图像采集装置及相应的图像处理方法可以满足山羊体尺无接触自动测量的精度要求,为山羊体尺的高...     

基于深度图像的猪体尺检测系统

为实现生猪饲养过程中体尺无接触检测,设计了一套基于双目视觉原理的猪体尺检测系统。针对色彩图像提取猪体轮廓易受污物和光照干扰的问题,提出基于深度图像的猪体轮廓提取算法。使用双目视觉系统获得猪体深度图像,利用帧差法提取猪只高度信息,并基于高度信息二值化图像,获得猪体轮廓;结合优化的基于凹陷结构的拐点提取算法,筛选体尺检测关键点,计算体长、体宽、体高、臀宽、臀高5个体尺,编写了基于以上算法的猪体尺检测程序。双目视觉系统三维检测的实验室验证表明:在2 m物距范围内,系统三维检测相对误差均小于1%;系统在实际猪场对32组猪体尺检测结果表明:与手工测量猪体尺相比,本系统检测的体尺平均相对误差在2%左右,平均误差小于2 cm。试验证明基于深度图像的猪体尺检测系统不容易受到脏污和光照干扰,能够实现生猪饲养过程中猪体尺的无接触检测。     

基于单视角点云镜像的猪只体尺测量方法

为了克服人工家畜体尺测量耗时、应激大和工作强度大等问题,提出了一种基于单视角点云镜像的猪只体尺测量方法。首先使用单Xtion深度相机采集包含猪体的场景点云图像序列,并人工筛选出包含背部弯曲程度较小猪体的场景点云图像,然后基于随机采样一致性算法和聚类分割算法自动化分割目标猪体并对其进行姿态归一化,检测单视角猪体点云对称面,并利用对称面镜像获取完整猪体,最后利用自主研发的体尺测量软件测量猪只体尺。试验结果表明,利用该方法测量体长的平均相对误差为5.00%,臀宽测量的平均相对误差为7.40%,臀高测量的平均相对误差为5.74%。该方法为猪只体尺测量提供了切实可行的新途径。     

基于深度图像的多姿态肉牛体尺自动测量方法

养殖场中肉牛较为活跃,采集得到的图像数据中肉牛姿态多变,肉牛姿态端正帧较少,导致自动测量肉牛体尺困难。针对以上问题,本研究通过分析肉牛骨架特征和肉牛图像边缘轮廓特征,提出一种多姿态肉牛体尺自动测量方法。首先,利用深度相机Azure Kinect DK从正上方采集肉牛俯视深度视频数据,对视频数据进行分帧处理;其次,对原始深度图像进行预处理,将肉牛从复杂的背景中提取出来;再次,利用Zhang-Suen算法提取目标图像肉牛骨架,检测骨架交点和端点,分析肉牛头部特征,并确定头部去除点,去除图像中肉牛头部信息;最后,利用改进的U弦长曲率算法提取肉牛轮廓曲率曲线,根据曲率值确定体尺测点,将体尺测点转换到三维空间中,计算体尺参数。本研究通过分析大量深度图像数据,将图像中肉牛姿态分为左歪、右歪、姿态端正、低头和抬头五类。试验结果表明,本研究提出的基于骨架的多姿态肉牛头部去除方法在5种姿态下的头部去除成功率均高于92%;在23头肉牛不同姿态共46帧深度图像中,利用基于改进U弦长曲率的体尺测点提取方法,测得体直长测量的平均绝对误差为2.73 cm,体高测量的平均绝对误差为2.07 cm,腹宽测量的平均绝对误差为1.47 cm。研究结果可为精确测量多姿态下肉牛体尺提供支撑。     

基于Cow-DETR与深度图像的非接触式奶牛体质量评估

针对当前牧场奶牛体质量（体重）称量效率低,人工参与容易引发奶牛应激等问题,提出了一种基于改进DETR（Detection transformer）网络的端到端式奶牛体质量评估方法（Cow-DETR）,实现利用奶牛背部深度图像进行非接触式奶牛体质量评估。首先设计并搭建实验数据采集装置,利用Intel RealSense D435深度相机和体重秤采集奶牛背部深度图像和体质量数据;然后,通过边缘平滑滤波器和孔洞填充滤波器对深度图像进行补全处理,减少深度数据缺失对体质量评估的影响;最后,以DETR网络为基础建立奶牛体质量评估模型,通过在预测模块中添加含有交替全连接层的体质量预测单元,提升奶牛体质量相关的特征信息提取能力,实现端到端式奶牛背部定位的同时进行奶牛体质量非接触式评估。结果表明,本文方法可以实现较高精度的奶牛体质量评估,通过5倍交叉验证,在含有139头奶牛数据的数据集中,平均绝对误差不超过17.21kg,平均相对误差不超过3.71%,单幅图像平均识别时间为0.026s。通过与现有体质量评估方法相对比,本文方法比其他6种方法在更多的奶牛头数的数据集中取得了更低的平均绝对误差和平均相对误差,同时本文方法对奶牛站立姿势要求较低,更符合牧场实际生产需要,为奶牛体质量评估提供了新的解决思路。     

基于DeepLabCut算法的猪只体尺快速测量方法研究

为解决基于计算机视觉猪只体尺测量过程中存在的对猪只姿态依赖度高、测定效率低等问题,提出了一种基于DeepLabCut算法的非接触式猪只体尺快速测量方法。本研究以长白猪为研究对象,使用RealSense L515深感相机作为图像数据采集单元获取猪只背部RGB-D数据,通过分析对比ResNet、MobileNet-V2、EfficientNet系列的10个主干网络训练效果,选取EfficientNet-b6模型作为DeepLabCut算法最优主干网络进行猪只体尺特征点检测;为实现猪只体尺数据的精准计算,本文采用SVM模型识别猪只站立姿态,筛选猪只自然站立状态;在此基础上,采用深度数据临近区域替换算法对离群特征点进行优化,并计算猪只体长、体宽、体高、臀宽和臀高5项体尺指标。经对140组猪只图像进行测试发现,本研究提出的算法可实现猪只自然站立姿态下体尺的实时、精准测量,体尺最大均方根误差为1.79 cm,计算耗时为每帧0.27 s。     

基于点云语义分割的猪只体尺测量方法研究

生猪的体尺参数是生猪生长状态的重要评判标准,而人工测量体尺耗时耗力且容易造成猪只的应激反应,本文研究了无接触式猪只体尺参数测量方法,借鉴人工测量经验法,提出基于点云语义分割的猪只体尺测量方法。本文以大约克夏猪为研究对象,搭建无接触式猪只点云采集平台,采集3 510组猪只双侧点云数据;利用直通滤波器与随机采样一致性分割处理方法去除背景点云,基于统计滤波器去除离群点,采用体素下采样方法稀疏点云,完成猪只点云的预处理;基于PointNet网络,结合注意力模块构建语义分割模型,针对不同分割部位设计猪只体尺测量方法。试验结果表明,在自制数据集上,改进的语义分割模型准确率为86.3%,相较于PointNet、PointNet++和3D-RCNN分别高8、5.7、2.6个百分点;体尺的测量值与实测值最大绝对误差为6.8 cm,平均绝对误差均在5 cm以内,具有较高的估算准确性,此方法能够用于猪只体尺测量。本文将语义分割与体尺测量相结合,可为后续非接触测量提供思路。     

基于部分亲和场的行走奶牛骨架提取模型

在奶牛关键点预测的基础上,通过点、线重构奶牛骨架结构,可为奶牛跛行检测、发情行为分析、运动量估测等提供重要参考。本研究基于部分亲和场,以养殖场监控摄像头拍摄的视频为原始数据,使用1 600幅图像训练了奶牛骨架提取模型,实现了奶牛站立、行走状态下关键点信息和部分亲和场信息的预测,并通过最优匹配连接对奶牛骨架结构进行准确提取。为了验证该模型的性能,采用包含干扰因素的100幅单目标奶牛和100幅双目标奶牛图像进行了测试。结果表明,该模型对单目标行走奶牛骨架提取的置信度为78.90%,双目标行走奶牛骨架提取的置信度较单目标下降了10.96个百分点。计算了不同关键点相似性(Object keypoint similarity,OKS)下的模型准确率,当OKS为0.75时,骨架提取准确率为93.40%,召回率为94.20%,说明该模型具有较高的准确率。该方法可以提取视频中奶牛骨架,在无遮挡时具有高置信度和低漏检率,当遮挡严重时置信度有所下降。该模型的单目标和双目标图像帧处理速度分别为3.30、3.20 f/s,基本相同。本研究可为多目标奶牛骨架提取提供参考。     

基于EfficientNet与点云凸包特征的奶牛体况自动评分

为进一步提高奶牛体况自动评分精度,构建了一种基于点云凸包距离的三维结构特征图,将其作为EfficientNet深度学习网络的输入,可实现奶牛体况自动评分误差在0.25以内识别的准确率提升。首先,对获取的奶牛背部深度图像进行预处理,得到含有主要体况信息从奶牛腰角骨到臀骨区域的点云;其次,对点云进行体素化和凸包化,计算每个外围体素到最近凸包面之间的距离,并投影至X-Y平面上,得到结构特征图;构建EfficientNet网络分类模型,采用鲸鱼优化算法(Whale optimization algorithm, WOA)对其缩放系数进行优化;最后,利用77头奶牛的5119幅深度图像对模型进行训练、验证与测试,数据集比例为5∶3∶2。结果表明,奶牛体况评分（BCS）范围在2.25~4.00内,测试集中EfficientNet模型精准识别的图像达到73.12%,BCS识别误差在0.25和0.50以内的图像占比分别为98.6%和99.31%,平均识别速率为3.441s/f,识别效果优于MobileNet-V2、XceptionNet和LeNet-5等模型。该方法可实现规模化养殖场中奶牛个体体况的无接触评定,具有精度高、适用性强、成本低等特点。     

基于“淹没法”的双孢菇检测及直径测量方法

随着双孢菇种植面积和产量的增长,智能化采摘机器人的需求已迫在眉睫。为了给采摘机器人提供作业目标和参数信息,通过对双孢菇(白菇)深度图像进行处理和分析,实现了目标检测和直径测量。首先,根据双孢菇三维纵深结构特点,开发了“淹没法”双孢菇-菇床基质分割方法,实现了双孢菇的准确检测;然后,通过坐标变换,得到双孢菇菇盖边缘点的世界坐标,利用Hough圆检测实现双孢菇的直径测量。试验结果表明:此方法双孢菇检出率89%以上,漏检率低于11%,错检率低于2.26%,直径测量误差为2.15%~3.15%,单个蘑菇运算耗时约0.26~0.37s,可为双孢菇机械化采收提供在线、实时的信息决策支持,提高了双孢菇采收质量和效率,并有助于提高双孢菇采收机器人的智能化水平。     

基于正交设计方法的气缸盖上水孔流量测量技术

采用正交设计方法,通过数值模拟手段,研究了各结构参数及安装参数对测量误差的影响。为把由结构参数及安装参数引起的测量误差控制在设定范围3%内,对模拟结果进行了极差分析,通过多轮极差分析及各因素的水平范围优化,获得了把测量误差控制在3%以内的结构参数和安装参数的允许变化范围,确定了可行的测量装置加工和安装方案。最后,进行了模拟方案的实验验证,验证结果表明,模拟误差与实验误差的偏差为2.07%,验证了数值模拟的可信性,同时也确保了测量技术的准确性。     

基于自适应无参核密度估计算法的运动奶牛目标检测

复杂养殖环境下运动奶牛目标的准确检测是奶牛跛行、发情等运动行为感知的基础。针对现有方法多采用参数化模型实现运动奶牛目标检测的缺陷,提出了一种无参核密度估计背景建模方法。该方法根据各像素的历史样本估计像素的概率模型,针对历史样本信息中冗杂信息导致模型复杂度过高的问题,采用关键帧检测技术剔除样本中的冗余信息以降低算法的复杂度,并实现了在小样本下核函数对遥远历史帧图像信息的获取,从而提高了检测精度。针对检测目标轮廓缺失的问题,结合三帧差法进一步实现了运动目标的完整提取。为了验证本算法的有效性,对不同环境和干扰下的运动奶牛视频样本进行了试验,并与高斯混合模型(Gaussian mixture model,GMM)和核密度估计模型(Kernel density estimation,KDE)方法进行了对比。试验结果表明,本文算法平均前景正检率为95. 65%,比高斯混合模型提高了15. 56个百分点,比核密度估计模型提高了10. 56个百分点。同时,本文算法平均实时性指标为1. 11,基本可以实现运动奶牛目标的实时、准确检测,该研究结果可为奶牛跛行疾病的预防、诊断以及奶牛运动行为的精确感知提供参考。