基于关键帧提取与头颈部去除的奶牛体尺测量方法

为提高奶牛体尺测量的效率与精度,降低劳动强度,提出一种基于关键帧提取与头颈部去除的奶牛体尺测量方法。首先,搭建奶牛俯视深度视频采集平台,利用分水岭算法提取深度图像中的奶牛目标;其次,使用图像扫描策略获取奶牛左右两侧轮廓,利用基于霍夫变换的直线检测方法,提取图像序列中含有完整奶牛躯干的关键帧;然后,根据奶牛头部区域骨架特征判定头部是否存在,若头部存在,则基于凸包分析方法去除图像中奶牛头部,并利用多项式曲线拟合方法去除奶牛颈部;最后,根据奶牛体尺测点的空间特征,自动计算奶牛体直长、肩宽、腹宽、臀宽及体高。利用35头奶牛的2.163帧深度图像对本文方法精度进行测试,结果分析表明,关键帧提取方法准确率为97.36%,可有效代替人工进行关键帧的选取;头部检测方法准确率为94.04%,提高了奶牛体尺测点定位的效率;体尺测量平均相对误差在3.3%以内。本文研究成果可提高奶牛体尺自动测量的效率与精度。     

基于点云精简的奶牛背部体尺测点自动提取方法

为了解决奶牛点云体尺测点的自动提取问题,提出了基于点云精简的奶牛背部体尺测点自动提取方法。首先,搭建奶牛深度视频采集平台采集数据,对Kinect相机采集到的奶牛背部原始点云数据进行预处理,去除周围复杂背景;其次,采用主成分分析法计算局部平面法矢量和曲率,对奶牛背部点云进行精简,去除噪声点和冗余点,保留奶牛背脊部和边界轮廓的特征点;最后,根据奶牛背部体尺测点的几何特征和测点间的空间结构关系,对精简后的奶牛背部点云数据进行体尺测点的自动提取。采集了33头奶牛的完整背部深度视频数据,每头奶牛选取10帧,共计330帧试验数据。利用本文方法提取到的所有体尺测点的平均绝对误差均小于1. 17 cm,与非均匀网络法相比,经本文方法处理后的体尺测点提取时间缩短了33. 72%。本文研究结果可为奶牛体尺自动化测量提供技术支持。     

基于Kinect相机的猪体理想姿态检测与体尺测量

为提高基于机器视觉的猪体体尺测量研究中的图像利用率和体尺测量效率,以长白猪和大白猪为研究对象,基于Kinect相机获取的猪体视频数据,提出了一种猪体理想姿态检测算法。该算法利用最小外接矩形法调整猪体为水平方向;利用投影法和差分法识别头部和尾部位置,通过头部边界标记法判断是否耳部缺失;利用骨骼化算法结合霍夫变换算法检测猪体头部是否歪斜。在此基础上,设计了猪体体尺测量算法。针对养殖场获取的103组视频数据、俯视和侧视各52 016帧图像,进行了理想姿态检测及体尺测量。结果表明,检测出理想姿态2 592帧、漏报432帧、误报0帧,误报率较低;每帧图像的体长偏差与本组体长均值小于2. 3%,组内理想姿态帧之间差异较小,一致性较好;体宽测量的平均精确度为95. 5%,体高测量的平均精确度为96. 3%,体长测量的平均精确度为97. 3%,测量的平均准确度较高。本研究成果应用于基于机器视觉的猪体体尺测量,可提高图像利用率和体尺测量效率。     

基于计算机视觉的大黄鱼体尺测算与体质量估测

在无应激情况下获取鱼体体尺数据、质量,是鱼高产养殖的一个重要环节。这些参数作为重要的数据,将其提取分析,可大大增加养殖收成。通过采用计算机视觉的方法,提出在复杂背景下针对大黄鱼进行个体信息提取的算法。通过背景减法和去除噪声算法可去除背景干扰,可准确提取自然姿态下鱼的个体轮廓,对采集到的样本轮廓进行鱼体测点提取,识别其体测点,实现鱼体身长、全长、体高、尾鳍长的测量并完成体质量估测。经实验,鱼体体尺测量相对误差平均0.3%,利用身长与质量的关系拟合出估测体质量的关系方程。本文提出的大黄鱼的无应激体测方法为福利养殖提供了新方法。     

基于深度图像的猪体尺检测系统

为实现生猪饲养过程中体尺无接触检测,设计了一套基于双目视觉原理的猪体尺检测系统。针对色彩图像提取猪体轮廓易受污物和光照干扰的问题,提出基于深度图像的猪体轮廓提取算法。使用双目视觉系统获得猪体深度图像,利用帧差法提取猪只高度信息,并基于高度信息二值化图像,获得猪体轮廓;结合优化的基于凹陷结构的拐点提取算法,筛选体尺检测关键点,计算体长、体宽、体高、臀宽、臀高5个体尺,编写了基于以上算法的猪体尺检测程序。双目视觉系统三维检测的实验室验证表明:在2 m物距范围内,系统三维检测相对误差均小于1%;系统在实际猪场对32组猪体尺检测结果表明:与手工测量猪体尺相比,本系统检测的体尺平均相对误差在2%左右,平均误差小于2 cm。试验证明基于深度图像的猪体尺检测系统不容易受到脏污和光照干扰,能够实现生猪饲养过程中猪体尺的无接触检测。     

基于DeepLabCut算法的猪只体尺快速测量方法研究

为解决基于计算机视觉猪只体尺测量过程中存在的对猪只姿态依赖度高、测定效率低等问题,提出了一种基于DeepLabCut算法的非接触式猪只体尺快速测量方法。本研究以长白猪为研究对象,使用RealSense L515深感相机作为图像数据采集单元获取猪只背部RGB-D数据,通过分析对比ResNet、MobileNet-V2、EfficientNet系列的10个主干网络训练效果,选取EfficientNet-b6模型作为DeepLabCut算法最优主干网络进行猪只体尺特征点检测;为实现猪只体尺数据的精准计算,本文采用SVM模型识别猪只站立姿态,筛选猪只自然站立状态;在此基础上,采用深度数据临近区域替换算法对离群特征点进行优化,并计算猪只体长、体宽、体高、臀宽和臀高5项体尺指标。经对140组猪只图像进行测试发现,本研究提出的算法可实现猪只自然站立姿态下体尺的实时、精准测量,体尺最大均方根误差为1.79 cm,计算耗时为每帧0.27 s。     

基于点云语义分割的猪只体尺测量方法研究

生猪的体尺参数是生猪生长状态的重要评判标准,而人工测量体尺耗时耗力且容易造成猪只的应激反应,本文研究了无接触式猪只体尺参数测量方法,借鉴人工测量经验法,提出基于点云语义分割的猪只体尺测量方法。本文以大约克夏猪为研究对象,搭建无接触式猪只点云采集平台,采集3 510组猪只双侧点云数据;利用直通滤波器与随机采样一致性分割处理方法去除背景点云,基于统计滤波器去除离群点,采用体素下采样方法稀疏点云,完成猪只点云的预处理;基于PointNet网络,结合注意力模块构建语义分割模型,针对不同分割部位设计猪只体尺测量方法。试验结果表明,在自制数据集上,改进的语义分割模型准确率为86.3%,相较于PointNet、PointNet++和3D-RCNN分别高8、5.7、2.6个百分点;体尺的测量值与实测值最大绝对误差为6.8 cm,平均绝对误差均在5 cm以内,具有较高的估算准确性,此方法能够用于猪只体尺测量。本文将语义分割与体尺测量相结合,可为后续非接触测量提供思路。     

基于机器视觉的无应激羊只体尺测量及体质量预估

为解决人工测量羊只体尺数据以及体质量时工作量大、应激反应大等问题,提出一种基于机器视觉的无应激反应羊只体尺测量方法,包括图像预处理、图像分割、对获取到的样本轮廓进行羊体体测点提取,识别其体测点,实现羊体体长、体高的测量并完成体质量估测。用10只羊实验,体长测量的平均相对误差均小于1%,相关系数为0.999 7,用体长与体质量的关系拟合出估测体质量的关系方程。本文提出的羊只无应激体测方法可用于羊只评估以及选育。     

基于深度相机的玉米株型参数提取方法研究

提出了一种基于骨架提取的改进算法,可实现在大田环境下,使用PMD深度相机快速、无损测量玉米株型参数。首先利用深度图像RGB伪彩色和深度距离信息,提取深度图像的骨架,排除复杂背景干扰,得到单株玉米的二值骨架图像;然后利用基于角点检测的改进归类算法提取骨架图像特征点;最后建立骨架图像中特征点与深度图像的对应关系,利用空间几何数学方法,结合特征点计算出玉米的3种株型参数,即株高、茎粗、叶倾角。农田实验对比分析表明,所提方法的株高测量结果与人工测量结果的相关系数 r 为0.986,最大相对误差小于2 cm,农田作物育种抗逆性分析还表明玉米株型参数与抗倒伏性具有显著相关性。     

基于三维重建的奶牛体重预估方法

为提高奶牛称量的工作效率,降低劳动强度,提出一种基于三维重建的奶牛体重预估方法。首先搭建奶牛深度视频获取平台,利用Kinect相机分别采集奶牛俯视与侧视视角数据,选取深度视频中同步的俯视帧与侧视帧并转换为点云,去除复杂背景提取奶牛点云;然后利用一帧不同步的侧视点云将同步侧视点云中缺失区域补全,配准俯视与侧视点云后,基于俯视点云中奶牛脊柱的位置选取对称面,利用单视角侧视点云获取得到双视角点云,完成奶牛体表点云的重建;最后进行点云曲面重建,利用曲面模型的体积与表面积建立奶牛体重预估模型。利用29头奶牛数据验证模型效果,结果表明,奶牛曲面模型整体表面积、去除四肢及头部的体积与体重呈显著正相关,体重预估绝对误差在-18.67~23.34kg之间,相对误差均小于3.40%,平均相对误差为2.04%。     

复杂环境下肉牛三维点云重建与目标提取方法

基于点云采集技术的非接触式测量能够缓解肉牛在采集体尺体重等参数时的应激问题,但采集肉牛的三维数据耗时长且易受环境干扰而产生大量无关噪点,难以适应实际养殖环境需求。为解决该问题,本研究开发了一种非接触式肉牛三维点云重建与目标提取系统与方法,采集的肉牛三维点云可为肉牛育种育肥提供大量标准化和三维量化表型数据。三维点云采集系统由Kinect DK深度相机、红外对射光栅触发器和射频识别（Radio Frequency Identification,RFID）触发器组成,可在肉牛自由通过步行道的瞬间实现肉牛点云的多角度瞬时采集。肉牛点云目标提取方法基于C++语言与点云处理库（Point Cloud Library,PCL）开发,通过空间直通滤波、统计学离群点滤波、随机抽样一致（Random Sample Consensus,RANSAC）形态拟合与点云抽稀、基于降维密度聚类的感知盒滤波等算法有效滤除与肉牛紧贴的栏杆等干扰,不破坏点云的完整性,实现肉牛点云的三维重建与分析。在养殖场中对20头肉牛进行了124次点云采集与目标提取试验。结果表明,重建的肉牛三维模型与肉牛真实形态1:1对应,系统的采集成功率为91.89%,采集的点云与真实值相比,体尺重建误差为0.6%。该系统与方法可以在无人干预的情况下,实现多角度肉牛点云数据的自动采集与三维重建,并从复杂环境中自动提取目标肉牛的点云,为非接触式肉牛体高、体宽、体斜长、胸围、腹围和体重等核心表型参数的测量提供重要的方法支撑,促进肉牛育种和育肥的标准化管理。     

基于双视角图像的山羊体尺自动测量方法

针对规模化羊场对山羊体尺无接触式自动测量的需求，设计了一种山羊双视角图像采集装置并开发了配套的山羊体尺自动测量算法。首先，开发了山羊双视角图像自动采集装置并在养殖场完成山羊双视角图像数据集的构建；然后，采用背景减除法二值化羊体俯视图，引入简单线性迭代聚类算法(SLIC)构建侧视图超像素的纹理和颜色特征向量，训练基于支持向量机(SVM)的超像素分类器，综合利用置信度和超像素区域邻接图(RAG)获取侧视图中的羊体二值图；最后，提出了在侧视和俯视二值图像中定位关键体尺特征点的方法，自动提取山羊体高、体斜长、胸深、胸宽、管径参数，拟合得到胸围和管围参数。算法测试结果表明，羊体侧视图前景区域超像素分类正确率超过94%,算法自动提取与人工标注的侧视、俯视前景二值图的交并比分别为96.1%和97.5%。以人工使用软尺测量获得体尺参数为金标准评价算法自动提取体尺参数的精度，结果表明管围、体高、胸深、胸宽、胸围和体斜长的平均相对误差分别为5.5%、3.7%、2.6%、5.2%、4.1%和3.9%。本文开发的羊体双视角图像采集装置及相应的图像处理方法可以满足山羊体尺无接触自动测量的精度要求，为山羊体尺的高...     

基于单视角点云镜像的猪只体尺测量方法

为了克服人工家畜体尺测量耗时、应激大和工作强度大等问题,提出了一种基于单视角点云镜像的猪只体尺测量方法。首先使用单Xtion深度相机采集包含猪体的场景点云图像序列,并人工筛选出包含背部弯曲程度较小猪体的场景点云图像,然后基于随机采样一致性算法和聚类分割算法自动化分割目标猪体并对其进行姿态归一化,检测单视角猪体点云对称面,并利用对称面镜像获取完整猪体,最后利用自主研发的体尺测量软件测量猪只体尺。试验结果表明,利用该方法测量体长的平均相对误差为5.00%,臀宽测量的平均相对误差为7.40%,臀高测量的平均相对误差为5.74%。该方法为猪只体尺测量提供了切实可行的新途径。     

基于改进YOLO v3的肉牛多目标骨架提取方法

针对肉牛行为识别过程中,多目标骨架提取精度随目标数量增多而大幅降低的问题,提出了一种改进YOLO v3算法(Not classify RFB-YOLO v3,NC-YOLO v3),在主干网络后引入 RFB(Receptive field block)扩大模型感受野,剔除分类模块提高检测效率,结合8SH(8-Stack...     

RGB-D SLAM增强现实原木检尺系统构建与测试

将内嵌有ToF相机、面阵相机及IMU的智能手机作为硬件系统,RGB-D SLAM技术实时获取的深度图、位姿等为数据源,构建了RGB-D SLAM增强现实楞堆原木检尺系统。首先设计了基于ToF影像实时估计RGB影像像素深度的方法,实现对待测原木端面几何坐标的初步估计;其次,设计了散形分区去噪算法实现原木端面点云的精确过滤,设计了原木端面曲率估计算法实现对过滤点云可靠性判别;然后,基于PCA等算法实现原木长、短直径方向向量估计,并基于该向量对原木长、短直径进行了估计;最后,以所构建算法为基础在智能手机平台上搭建了增强现实楞堆检尺系统,实现智能手机对原木进行实时检尺、增强现实场景对测量结果实时监督。新型检尺系统通过对6个楞堆334根原木进行了检尺实验,以评估该设备的测量精度。结果显示：原木平均直径估计值的偏差及均方根误差分别为-0.13 cm(-0.35%)及1.05 cm(3.34%);原木径阶化直径估计值的偏差及均方根误差分别为-0.10 cm(-0.22%)及1.33 cm(4.43%);原木材积估计值的偏差及均方根误差分别为-0.007 m³(-0.27%)及0...     

基于视触觉感知的番茄尺寸和姿态解析方法

针对传统农业机器人抓取过程中视觉识别番茄果实尺寸和姿态存在枝叶遮挡的问题,提出了一种基于视触觉感知的番茄尺寸和姿态解析方法。在果实抓取过程中通过视触觉传感器得到果实外轮廓接触局部点云信息,然后通过相机参数标定以及各手指关节变换矩阵,将不同传感器坐标系下的点云信息变换到同一基坐标系下,进而通过点云改进PCA算法和ICP算法解析抓取果实的尺寸和姿态信息。为了评估所提出解析方法的性能,在实验室环境下进行了番茄尺寸和姿态检测试验。通过游标卡尺测量和深度相机扫描分别获得番茄果实尺寸和姿态的真实值,并与本文方法解析结果进行对比。检测试验结果表明,本文方法获得的番茄横向尺寸和纵向尺寸平均相对误差分别为8.66%和11.08%,番茄果轴与视场投影面的水平夹角和垂直偏转角平均相对误差分别为10.03%和14.02%。本文方法解析的番茄果实尺寸与姿态信息,可应用于番茄果实抓取过程中的姿态调控,从而提高番茄果实抓取采摘的可靠性。