基于关键帧提取与头颈部去除的奶牛体尺测量方法

为提高奶牛体尺测量的效率与精度,降低劳动强度,提出一种基于关键帧提取与头颈部去除的奶牛体尺测量方法。首先,搭建奶牛俯视深度视频采集平台,利用分水岭算法提取深度图像中的奶牛目标;其次,使用图像扫描策略获取奶牛左右两侧轮廓,利用基于霍夫变换的直线检测方法,提取图像序列中含有完整奶牛躯干的关键帧;然后,根据奶牛头部区域骨架特征判定头部是否存在,若头部存在,则基于凸包分析方法去除图像中奶牛头部,并利用多项式曲线拟合方法去除奶牛颈部;最后,根据奶牛体尺测点的空间特征,自动计算奶牛体直长、肩宽、腹宽、臀宽及体高。利用35头奶牛的2.163帧深度图像对本文方法精度进行测试,结果分析表明,关键帧提取方法准确率为97.36%,可有效代替人工进行关键帧的选取;头部检测方法准确率为94.04%,提高了奶牛体尺测点定位的效率;体尺测量平均相对误差在3.3%以内。本文研究成果可提高奶牛体尺自动测量的效率与精度。     

基于深度图像的多姿态肉牛体尺自动测量方法

养殖场中肉牛较为活跃,采集得到的图像数据中肉牛姿态多变,肉牛姿态端正帧较少,导致自动测量肉牛体尺困难。针对以上问题,本研究通过分析肉牛骨架特征和肉牛图像边缘轮廓特征,提出一种多姿态肉牛体尺自动测量方法。首先,利用深度相机Azure Kinect DK从正上方采集肉牛俯视深度视频数据,对视频数据进行分帧处理;其次,对原始深度图像进行预处理,将肉牛从复杂的背景中提取出来;再次,利用Zhang-Suen算法提取目标图像肉牛骨架,检测骨架交点和端点,分析肉牛头部特征,并确定头部去除点,去除图像中肉牛头部信息;最后,利用改进的U弦长曲率算法提取肉牛轮廓曲率曲线,根据曲率值确定体尺测点,将体尺测点转换到三维空间中,计算体尺参数。本研究通过分析大量深度图像数据,将图像中肉牛姿态分为左歪、右歪、姿态端正、低头和抬头五类。试验结果表明,本研究提出的基于骨架的多姿态肉牛头部去除方法在5种姿态下的头部去除成功率均高于92%;在23头肉牛不同姿态共46帧深度图像中,利用基于改进U弦长曲率的体尺测点提取方法,测得体直长测量的平均绝对误差为2.73 cm,体高测量的平均绝对误差为2.07 cm,腹宽测量的平均绝对误差为1.47 cm。研究结果可为精确测量多姿态下肉牛体尺提供支撑。     

基于三维重建的奶牛体重预估方法

为提高奶牛称量的工作效率,降低劳动强度,提出一种基于三维重建的奶牛体重预估方法。首先搭建奶牛深度视频获取平台,利用Kinect相机分别采集奶牛俯视与侧视视角数据,选取深度视频中同步的俯视帧与侧视帧并转换为点云,去除复杂背景提取奶牛点云;然后利用一帧不同步的侧视点云将同步侧视点云中缺失区域补全,配准俯视与侧视点云后,基于俯视点云中奶牛脊柱的位置选取对称面,利用单视角侧视点云获取得到双视角点云,完成奶牛体表点云的重建;最后进行点云曲面重建,利用曲面模型的体积与表面积建立奶牛体重预估模型。利用29头奶牛数据验证模型效果,结果表明,奶牛曲面模型整体表面积、去除四肢及头部的体积与体重呈显著正相关,体重预估绝对误差在-18.67~23.34kg之间,相对误差均小于3.40%,平均相对误差为2.04%。     

基于深度图像的奶牛表型特征获取系统设计与试验

奶牛表型特征是评价奶牛成长状况的一项重要参数,为减少奶牛的应激性且能便捷地获取奶牛几何表型尺寸,运用图像处理技术提取奶牛表型特征参数,设计了一款针对深度图像和点云数据的奶牛几何表型特征获取系统。对奶牛深度图像采用背景减去法、阈值分割、滤波和空洞填充等方法获取奶牛目标区域,对目标采用边缘检测、角点检测和凸包运算等检测特征点,最后对应点云数据获得奶牛表型特征尺寸。系统现场试验结果表明,系统获取的体重准确性在98%以上,体尺准确性在96%以上,系统工作稳定、测量精度高,为实现数字化养殖打下了基础,具有很好的应用前景。     

基于深度图像的奶牛表型特征获取

奶牛表型特征是评价奶牛成长状况的一项重要参数,为减少奶牛的应激性且能便捷地获取奶牛几何表型尺寸,运用图像处理技术提取奶牛表型特征参数,设计了一款针对深度图像和点云数据的奶牛几何表型特征获取系统。对奶牛深度图像采用背景减去法、阈值分割、滤波和空洞填充等方法获取奶牛目标区域,对目标采用边缘检测、角点检测和凸包运算等检测特征点,最后对应点云数据获得奶牛表型特征尺寸。系统现场试验结果表明,系统获取的体重准确性在98%以上,体尺准确性在96%以上,系统工作稳定、测量精度高,为实现数字化养殖打下了基础,具有很好的应用前景。      

基于点云语义分割的猪只体尺测量方法研究

生猪的体尺参数是生猪生长状态的重要评判标准,而人工测量体尺耗时耗力且容易造成猪只的应激反应,本文研究了无接触式猪只体尺参数测量方法,借鉴人工测量经验法,提出基于点云语义分割的猪只体尺测量方法。本文以大约克夏猪为研究对象,搭建无接触式猪只点云采集平台,采集3 510组猪只双侧点云数据;利用直通滤波器与随机采样一致性分割处理方法去除背景点云,基于统计滤波器去除离群点,采用体素下采样方法稀疏点云,完成猪只点云的预处理;基于PointNet网络,结合注意力模块构建语义分割模型,针对不同分割部位设计猪只体尺测量方法。试验结果表明,在自制数据集上,改进的语义分割模型准确率为86.3%,相较于PointNet、PointNet++和3D-RCNN分别高8、5.7、2.6个百分点;体尺的测量值与实测值最大绝对误差为6.8 cm,平均绝对误差均在5 cm以内,具有较高的估算准确性,此方法能够用于猪只体尺测量。本文将语义分割与体尺测量相结合,可为后续非接触测量提供思路。     

基于计算机视觉的大黄鱼体尺测算与体质量估测

在无应激情况下获取鱼体体尺数据、质量,是鱼高产养殖的一个重要环节。这些参数作为重要的数据,将其提取分析,可大大增加养殖收成。通过采用计算机视觉的方法,提出在复杂背景下针对大黄鱼进行个体信息提取的算法。通过背景减法和去除噪声算法可去除背景干扰,可准确提取自然姿态下鱼的个体轮廓,对采集到的样本轮廓进行鱼体测点提取,识别其体测点,实现鱼体身长、全长、体高、尾鳍长的测量并完成体质量估测。经实验,鱼体体尺测量相对误差平均0.3%,利用身长与质量的关系拟合出估测体质量的关系方程。本文提出的大黄鱼的无应激体测方法为福利养殖提供了新方法。     

基于Cow-DETR与深度图像的非接触式奶牛体质量评估

针对当前牧场奶牛体质量（体重）称量效率低,人工参与容易引发奶牛应激等问题,提出了一种基于改进DETR（Detection transformer）网络的端到端式奶牛体质量评估方法（Cow-DETR）,实现利用奶牛背部深度图像进行非接触式奶牛体质量评估。首先设计并搭建实验数据采集装置,利用Intel RealSense D435深度相机和体重秤采集奶牛背部深度图像和体质量数据;然后,通过边缘平滑滤波器和孔洞填充滤波器对深度图像进行补全处理,减少深度数据缺失对体质量评估的影响;最后,以DETR网络为基础建立奶牛体质量评估模型,通过在预测模块中添加含有交替全连接层的体质量预测单元,提升奶牛体质量相关的特征信息提取能力,实现端到端式奶牛背部定位的同时进行奶牛体质量非接触式评估。结果表明,本文方法可以实现较高精度的奶牛体质量评估,通过5倍交叉验证,在含有139头奶牛数据的数据集中,平均绝对误差不超过17.21kg,平均相对误差不超过3.71%,单幅图像平均识别时间为0.026s。通过与现有体质量评估方法相对比,本文方法比其他6种方法在更多的奶牛头数的数据集中取得了更低的平均绝对误差和平均相对误差,同时本文方法对奶牛站立姿势要求较低,更符合牧场实际生产需要,为奶牛体质量评估提供了新的解决思路。     

复杂环境下肉牛三维点云重建与目标提取方法

基于点云采集技术的非接触式测量能够缓解肉牛在采集体尺体重等参数时的应激问题,但采集肉牛的三维数据耗时长且易受环境干扰而产生大量无关噪点,难以适应实际养殖环境需求。为解决该问题,本研究开发了一种非接触式肉牛三维点云重建与目标提取系统与方法,采集的肉牛三维点云可为肉牛育种育肥提供大量标准化和三维量化表型数据。三维点云采集系统由Kinect DK深度相机、红外对射光栅触发器和射频识别（Radio Frequency Identification,RFID）触发器组成,可在肉牛自由通过步行道的瞬间实现肉牛点云的多角度瞬时采集。肉牛点云目标提取方法基于C++语言与点云处理库（Point Cloud Library,PCL）开发,通过空间直通滤波、统计学离群点滤波、随机抽样一致（Random Sample Consensus,RANSAC）形态拟合与点云抽稀、基于降维密度聚类的感知盒滤波等算法有效滤除与肉牛紧贴的栏杆等干扰,不破坏点云的完整性,实现肉牛点云的三维重建与分析。在养殖场中对20头肉牛进行了124次点云采集与目标提取试验。结果表明,重建的肉牛三维模型与肉牛真实形态1:1对应,系统的采集成功率为91.89%,采集的点云与真实值相比,体尺重建误差为0.6%。该系统与方法可以在无人干预的情况下,实现多角度肉牛点云数据的自动采集与三维重建,并从复杂环境中自动提取目标肉牛的点云,为非接触式肉牛体高、体宽、体斜长、胸围、腹围和体重等核心表型参数的测量提供重要的方法支撑,促进肉牛育种和育肥的标准化管理。     

基于EfficientNet与点云凸包特征的奶牛体况自动评分

为进一步提高奶牛体况自动评分精度,构建了一种基于点云凸包距离的三维结构特征图,将其作为EfficientNet深度学习网络的输入,可实现奶牛体况自动评分误差在0.25以内识别的准确率提升。首先,对获取的奶牛背部深度图像进行预处理,得到含有主要体况信息从奶牛腰角骨到臀骨区域的点云;其次,对点云进行体素化和凸包化,计算每个外围体素到最近凸包面之间的距离,并投影至X-Y平面上,得到结构特征图;构建EfficientNet网络分类模型,采用鲸鱼优化算法(Whale optimization algorithm, WOA)对其缩放系数进行优化;最后,利用77头奶牛的5119幅深度图像对模型进行训练、验证与测试,数据集比例为5∶3∶2。结果表明,奶牛体况评分（BCS）范围在2.25~4.00内,测试集中EfficientNet模型精准识别的图像达到73.12%,BCS识别误差在0.25和0.50以内的图像占比分别为98.6%和99.31%,平均识别速率为3.441s/f,识别效果优于MobileNet-V2、XceptionNet和LeNet-5等模型。该方法可实现规模化养殖场中奶牛个体体况的无接触评定,具有精度高、适用性强、成本低等特点。     

基于三维重建的动物体尺获取原型系统

为提高现有动物体尺获取技术的效率和自动化程度,提出双深度摄像头动物实时三维重建系统,进而进行动物体尺获取。基于随机采样一致性算法的圆球标定方法对摄像头外参数进行自动标定,再利用外参数将同步获取的点云数据进行配准达到实时重建,最后采用优化拾取机制后的交互式测量方法得到体尺。选取Xtion PRO作为点云数据采集设备并以猪标本作为重建对象,利用高精度激光扫描仪的重建数据与该系统重建结果进行了对比试验,结果表明圆球标定算法能够全自动快速地获取摄像头外参数,用该参数配准后的数据平均误差在7.50 mm以内,该系统以15帧/s的速度重建猪体全身,获取误差在4%以内的体尺信息,达到农业上动物体尺测量的一般要求,该系统可用于动物体尺测量。     

基于单视角点云镜像的猪只体尺测量方法

为了克服人工家畜体尺测量耗时、应激大和工作强度大等问题,提出了一种基于单视角点云镜像的猪只体尺测量方法。首先使用单Xtion深度相机采集包含猪体的场景点云图像序列,并人工筛选出包含背部弯曲程度较小猪体的场景点云图像,然后基于随机采样一致性算法和聚类分割算法自动化分割目标猪体并对其进行姿态归一化,检测单视角猪体点云对称面,并利用对称面镜像获取完整猪体,最后利用自主研发的体尺测量软件测量猪只体尺。试验结果表明,利用该方法测量体长的平均相对误差为5.00%,臀宽测量的平均相对误差为7.40%,臀高测量的平均相对误差为5.74%。该方法为猪只体尺测量提供了切实可行的新途径。     

基于改进三次B样条曲线的奶牛点云缺失区域修复方法

奶牛三维点云包含的尺寸和体型等信息对奶牛体型评价、尺寸测量和健康评定等具有重要意义。在奶牛活动场和挤奶间栏杆通道获取奶牛点云时,由于栏杆遮挡导致获取的点云缺失区域较大,严重影响奶牛三维建模精度。为了修复缺失的大区域点云,提出一种基于三次B样条曲线的奶牛点云缺失区域修复方法。该方法先对Kinect v2传感器获取的奶牛点云进行预处理,去除周围环境背景,然后沿点云坐标系x轴方向对提取的奶牛点云进行切片投影处理,对每个切片点列中间距较大的相邻点进行补点,再用三次B样条曲线进行拟合。在试验分析补点操作中参数h和L较优取值的基础上,对45头荷斯坦奶牛共225帧点云进行修复试验。结果表明,所提方法比三次B样条方法修复得到的点云均匀性和逼近性能更好,平均帧逼近误差降低了26.7%,为大面积点云缺失修复提供了有效方法。     

基于改进YOLO v3模型的挤奶奶牛个体识别方法

为实现无接触、高精度养殖场环境下奶牛个体的有效识别,提出了基于改进YOLO v3深度卷积神经网络的挤奶奶牛个体识别方法。首先,在奶牛进、出挤奶间的通道上方安装摄像机,定时、自动获取奶牛背部视频,并用视频帧分解技术得到牛背部图像;用双边滤波法去除图像噪声,并用像素线性变换法增强图像亮度和对比度,通过人工标注标记奶牛个体编号;为适应复杂环境下的奶牛识别,借鉴Gaussian YOLO v3算法构建了优化锚点框和改进网络结构的YOLO v3识别模型。从89头奶牛的36790幅背部图像中,随机选取22074幅为训练集,其余图像为验证集和测试集。识别结果表明,改进YOLO v3模型的识别准确率为95.91%,召回率为95.32%,mAP为95.16%, IoU为85.28%,平均帧率为32f/s,识别准确率比YOLO v3高0.94个百分点,比Faster R-CNN高1.90个百分点,检测速度是Faster R-CNN的8倍,背部为纯黑色奶牛的F1值比YOLO v3提高了2.75个百分点。本文方法具有成本低、性能优良的特点,可用于养殖场复杂环境下挤奶奶牛个体的实时识别。     

基于DeepLabCut算法的猪只体尺快速测量方法研究

为解决基于计算机视觉猪只体尺测量过程中存在的对猪只姿态依赖度高、测定效率低等问题,提出了一种基于DeepLabCut算法的非接触式猪只体尺快速测量方法。本研究以长白猪为研究对象,使用RealSense L515深感相机作为图像数据采集单元获取猪只背部RGB-D数据,通过分析对比ResNet、MobileNet-V2、EfficientNet系列的10个主干网络训练效果,选取EfficientNet-b6模型作为DeepLabCut算法最优主干网络进行猪只体尺特征点检测;为实现猪只体尺数据的精准计算,本文采用SVM模型识别猪只站立姿态,筛选猪只自然站立状态;在此基础上,采用深度数据临近区域替换算法对离群特征点进行优化,并计算猪只体长、体宽、体高、臀宽和臀高5项体尺指标。经对140组猪只图像进行测试发现,本研究提出的算法可实现猪只自然站立姿态下体尺的实时、精准测量,体尺最大均方根误差为1.79 cm,计算耗时为每帧0.27 s。     

基于双视角图像的山羊体尺自动测量方法

针对规模化羊场对山羊体尺无接触式自动测量的需求，设计了一种山羊双视角图像采集装置并开发了配套的山羊体尺自动测量算法。首先，开发了山羊双视角图像自动采集装置并在养殖场完成山羊双视角图像数据集的构建；然后，采用背景减除法二值化羊体俯视图，引入简单线性迭代聚类算法(SLIC)构建侧视图超像素的纹理和颜色特征向量，训练基于支持向量机(SVM)的超像素分类器，综合利用置信度和超像素区域邻接图(RAG)获取侧视图中的羊体二值图；最后，提出了在侧视和俯视二值图像中定位关键体尺特征点的方法，自动提取山羊体高、体斜长、胸深、胸宽、管径参数，拟合得到胸围和管围参数。算法测试结果表明，羊体侧视图前景区域超像素分类正确率超过94%,算法自动提取与人工标注的侧视、俯视前景二值图的交并比分别为96.1%和97.5%。以人工使用软尺测量获得体尺参数为金标准评价算法自动提取体尺参数的精度，结果表明管围、体高、胸深、胸宽、胸围和体斜长的平均相对误差分别为5.5%、3.7%、2.6%、5.2%、4.1%和3.9%。本文开发的羊体双视角图像采集装置及相应的图像处理方法可以满足山羊体尺无接触自动测量的精度要求，为山羊体尺的高...     

基于多角度Kinect v2的羊只三维模型重构方法研究

羊只的体尺参数是衡量其生长发育状况、生产性能和遗传特性的关键指标。重建羊只的三维模型可以为自动化获取多种羊只体尺参数提供数据基础,因此提出一种基于多角度Kinect v2的羊只三维模型重构方法。该方法通过放置在羊只顶部和左右两个侧面的Kinect v2设备,获取羊只的三维点云数据;利用这些数据中的点云之间的相对位置关系,进行点云坐标的转换和初始配准;采用ICP算法进行精确配准建立三维模型。结果表明：当Kinect v2深度相机高度为120 cm、俯视角为30°时,获取的点云质量较高,自动配准的平均误差为0.233 cm,平均耗时为12.89 s。根据模型计算出的羊只体高、体斜长、十字部高和腰脚宽等体尺参数与实际测量平均误差均在5%以内。     

基于骨架扫描策略的生猪耳根体表温度FDSST检测方法

为了实现生猪耳根体表温度自动检测,减少快速判别尺寸空间跟踪（Fast discriminative scale space tracking, FDSST）方法在热红外视频中进行头部跟踪产生的误差,提出了一种利用骨架扫描策略改进FDSST的生猪耳根体表温度检测方法。首先对视频的初始帧进行预处理,提取精简后的生猪整体骨架;其次,设计骨架扫描策略,扫描头部骨架前端关键点,实现头部在初始帧的定位;再次,采用FDSST跟踪生猪头部,每连续跟踪N帧后,采用骨架扫描策略重新定位头部,减少跟踪框漂移;最后提出耳根体表温度提取方法,根据头部左右耳侧温度分布,提取耳根温度并误差校正。利用采集到的30只生猪的视频数据,在Matlab平台上进行了测试,并与FDSST算法、压缩感知跟踪和核相关滤波跟踪等高效算法对比分析。结果表明,本文方法的跟踪平均精确度分别提高了7.82、11.82、8.78个百分点,提取的耳根最大温度误差为0.32℃。     

Kinect获取植物三维点云数据的去噪方法

为解决Kinect获取的玉米三维点云数据噪声影响三维重建精度的问题,根据Kinect所获取的点云数据特点,采用多帧数据融合的方法获取更完整的三维点云数据并对点云数据进行初步平滑;通过对Kinect所获数据噪声进行分析,提出了一种基于密度分析和深度数据双边滤波的方法,分别对离群点噪声和内部高频噪声进行处理。以Kinect获取的玉米及茄子的三维点云数据进行去噪实验,所用去噪时间仅为传统双边滤波去噪时间的2.71%和1.78%,并且能够达到很好的去噪效果。结果表明,所提方法能够方便、快捷地去除不同尺度的噪声,同时保留边缘数据的完整性,获得良好的植物三维点云数据。     

基于逆向反求技术的旋耕机弯刀数据采集与曲面重构方法

针对旋耕机弯刀曲面复杂、建模困难的问题,提出了基于样品的逆向反求建模方法。运用非接触式激光三角法采集了T系列Ⅰ型旋耕弯刀原始数据,通过点云数据降噪、精简和网格化进行数据处理。针对不同位置,采用不同方法提取了特征曲线,并进行曲面重构,通过缝合各个重构曲面和刀柄修补最终完成了旋耕机弯刀三维实体模型的建立。