基于深度图像的奶牛表型特征获取

奶牛表型特征是评价奶牛成长状况的一项重要参数，为减少奶牛的应激性且能便捷地获取奶牛几何表型尺寸，运用图像处理技术提取奶牛表型特征参数，设计了一款针对深度图像和点云数据的奶牛几何表型特征获取系统。对奶牛深度图像采用背景减去法、阈值分割、滤波和空洞填充等方法获取奶牛目标区域，对目标采用边缘检测、角点检测和凸包运算等检测特征点，最后对应点云数据获得奶牛表型特征尺寸。系统现场试验结果表明，系统获取的体重准确性在98%以上，体尺准确性在96%以上，系统工作稳定、测量精度高，为实现数字化养殖打下了基础，具有很好的应用前景。      

植株点云超体聚类分割方法

针对传统的超体聚类分割对植株存在过分割率高、实时性差的问题,提出一种融合显著性特征图的超体聚类分割方法。首先,采用Kinect V2实时获取目标植株的彩色图像和深度图像,将RGB彩色空间图像转换为CIELab彩色空间图像,计算每个像素的显著性特征值,获取彩色特征图,并融合亮度特征图和方向特征图构建显著性特征图;然后,将显著性特征图和深度图像同步对齐,获得显著性点云,八叉树网格初始化点云,并通过Mean-Shift算法获取满足概率密度阈值的网格点云,取最大概率密度点作为种子点,基于点对之间的欧氏距离和特征相似度作为区域生长相似性准则,生成超体素块;最后,通过LCCP算法对显著性点云进行聚类分割。实验结果表明,改进的显著性超体聚类分割方法可以大幅提高目标前景分割的准确性和快速性,有效克服背景噪声和离群点。     

基于三维重建的奶牛体重预估方法

为提高奶牛称量的工作效率，降低劳动强度，提出一种基于三维重建的奶牛体重预估方法。首先搭建奶牛深度视频获取平台，利用Kinect相机分别采集奶牛俯视与侧视视角数据，选取深度视频中同步的俯视帧与侧视帧并转换为点云，去除复杂背景提取奶牛点云；然后利用一帧不同步的侧视点云将同步侧视点云中缺失区域补全，配准俯视与侧视点云后，基于俯视点云中奶牛脊柱的位置选取对称面，利用单视角侧视点云获取得到双视角点云，完成奶牛体表点云的重建；最后进行点云曲面重建，利用曲面模型的体积与表面积建立奶牛体重预估模型。利用29头奶牛数据验证模型效果，结果表明，奶牛曲面模型整体表面积、去除四肢及头部的体积与体重呈显著正相关，体重预估绝对误差在-18.67~23.34kg之间，相对误差均小于3.40%，平均相对误差为2.04%。     

基于点云精简的奶牛背部体尺测点自动提取方法

为了解决奶牛点云体尺测点的自动提取问题,提出了基于点云精简的奶牛背部体尺测点自动提取方法。首先,搭建奶牛深度视频采集平台采集数据,对Kinect相机采集到的奶牛背部原始点云数据进行预处理,去除周围复杂背景;其次,采用主成分分析法计算局部平面法矢量和曲率,对奶牛背部点云进行精简,去除噪声点和冗余点,保留奶牛背脊部和边界轮廓的特征点;最后,根据奶牛背部体尺测点的几何特征和测点间的空间结构关系,对精简后的奶牛背部点云数据进行体尺测点的自动提取。采集了33头奶牛的完整背部深度视频数据,每头奶牛选取10帧,共计330帧试验数据。利用本文方法提取到的所有体尺测点的平均绝对误差均小于1. 17 cm,与非均匀网络法相比,经本文方法处理后的体尺测点提取时间缩短了33. 72%。本文研究结果可为奶牛体尺自动化测量提供技术支持。     

基于EfficientNet与点云凸包特征的奶牛体况自动评分

为进一步提高奶牛体况自动评分精度,构建了一种基于点云凸包距离的三维结构特征图,将其作为EfficientNet深度学习网络的输入,可实现奶牛体况自动评分误差在0.25以内识别的准确率提升。首先,对获取的奶牛背部深度图像进行预处理,得到含有主要体况信息从奶牛腰角骨到臀骨区域的点云;其次,对点云进行体素化和凸包化,计算每个外围体素到最近凸包面之间的距离,并投影至X-Y平面上,得到结构特征图;构建EfficientNet网络分类模型,采用鲸鱼优化算法(Whale optimization algorithm, WOA)对其缩放系数进行优化;最后,利用77头奶牛的5119幅深度图像对模型进行训练、验证与测试,数据集比例为5∶3∶2。结果表明,奶牛体况评分（BCS）范围在2.25~4.00内,测试集中EfficientNet模型精准识别的图像达到73.12%,BCS识别误差在0.25和0.50以内的图像占比分别为98.6%和99.31%,平均识别速率为3.441s/f,识别效果优于MobileNet-V2、XceptionNet和LeNet-5等模型。该方法可实现规模化养殖场中奶牛个体体况的无接触评定,具有精度高、适用性强、成本低等特点。     

基于改进三次B样条曲线的奶牛点云缺失区域修复方法

奶牛三维点云包含的尺寸和体型等信息对奶牛体型评价、尺寸测量和健康评定等具有重要意义。在奶牛活动场和挤奶间栏杆通道获取奶牛点云时,由于栏杆遮挡导致获取的点云缺失区域较大,严重影响奶牛三维建模精度。为了修复缺失的大区域点云,提出一种基于三次B样条曲线的奶牛点云缺失区域修复方法。该方法先对Kinect v2传感器获取的奶牛点云进行预处理,去除周围环境背景,然后沿点云坐标系x轴方向对提取的奶牛点云进行切片投影处理,对每个切片点列中间距较大的相邻点进行补点,再用三次B样条曲线进行拟合。在试验分析补点操作中参数h和L较优取值的基础上,对45头荷斯坦奶牛共225帧点云进行修复试验。结果表明,所提方法比三次B样条方法修复得到的点云均匀性和逼近性能更好,平均帧逼近误差降低了26.7%,为大面积点云缺失修复提供了有效方法。     

基于热红外成像与骨架树模型的奶牛眼温自动检测

针对现有方法无法实现奶牛热红外图像中眼温信息自动获取的问题,为实现奶牛眼温无接触、自动、高精确检测,提出了一种基于热红外成像技术与骨架树模型的奶牛眼温自动检测方法。首先,在获得奶牛侧面热红外图像的基础上,利用基于差距度量的阈值分割方法提取奶牛目标,对奶牛骨架进行精确提取,并构建了奶牛骨架树模型,在该模型上对奶牛头部区域进行准确定位;然后,根据头部轮廓的形状特征与眼睛几何位置特征,对奶牛眼睛区域中心点进行准确定位;最后,以眼睛中心点为圆心,以半径为20像素区域内的最高温度作为眼睛温度,对奶牛热红外图像中眼温进行自动检测。为验证本文方法的有效性,随机选取来自50头奶牛的100幅侧视热红外图像进行了试验,结果表明,采用本文方法检测结果的平均绝对误差为0.35℃、平均相对误差为0.38%,具有较高的精度。本研究可为奶牛体温非接触、自动化、高精度检测提供技术支撑。     

基于关键帧提取与头颈部去除的奶牛体尺测量方法

为提高奶牛体尺测量的效率与精度,降低劳动强度,提出一种基于关键帧提取与头颈部去除的奶牛体尺测量方法。首先,搭建奶牛俯视深度视频采集平台,利用分水岭算法提取深度图像中的奶牛目标;其次,使用图像扫描策略获取奶牛左右两侧轮廓,利用基于霍夫变换的直线检测方法,提取图像序列中含有完整奶牛躯干的关键帧;然后,根据奶牛头部区域骨架特征判定头部是否存在,若头部存在,则基于凸包分析方法去除图像中奶牛头部,并利用多项式曲线拟合方法去除奶牛颈部;最后,根据奶牛体尺测点的空间特征,自动计算奶牛体直长、肩宽、腹宽、臀宽及体高。利用35头奶牛的2.163帧深度图像对本文方法精度进行测试,结果分析表明,关键帧提取方法准确率为97.36%,可有效代替人工进行关键帧的选取;头部检测方法准确率为94.04%,提高了奶牛体尺测点定位的效率;体尺测量平均相对误差在3.3%以内。本文研究成果可提高奶牛体尺自动测量的效率与精度。     

基于机器学习的奶牛深度图像身体区域精细分割方法

奶牛目标各区域的精细分割和识别能够提供精确的奶牛形体细节信息,是奶牛体形评价、姿态检测、行为分析和理解的前提和基础。为实现深度图像中奶牛头、颈、躯干和四肢等身体区域的精确分割,提出一种基于深度图像特征和机器学习的奶牛目标各区域精细分割方法。该方法以每个像素点在不同采样半径下的带阈值LBP序列为深度特征值,设置分类约束条件,用决策树森林机器学习方法实现奶牛各区域的精细分类。对10头奶牛的288幅侧视深度图像进行试验,结果表明,当采样半径分段数为30,决策树训练至20层时,奶牛整体各像素点的平均识别率为95.15%,较传统深度图像特征值有更强的细节信息提取能力,可以用较少参数实现对复杂结构的精确识别。     

利用多时序激光点云数据提取棉花表型参数方法

当前,能够实现作物表型参数高效、准确的测量和作物生育期表型参数的动态量化研究是表型研究和育种中亟待解决的问题之一。本研究以棉花为研究对象,采用三维激光扫描LiDAR技术获取棉花植株的多时序点云数据,针对棉花植株主干的几何特性,利用随机抽样一致算法（RANSAC）结合直线模型完成主干提取,并对剩余的点云进行区域增长聚类,实现各叶片的分割;在此基础上,完成植株体积、株高、叶长、叶宽等性状参数的估计。针对多时序棉花激光点云数据,采用匈牙利算法完成相邻时序作物点云数据的对齐、叶片器官对应关系的建立。同时,对各植株表型参数动态变化过程进行了量化。本研究针对3株棉花的4个生长点的点云数据,分别完成了主干提取、叶片分割,以及表型参数测量和动态量化。试验结果表明,本研究所采用的主干提取及叶片分割方法能够实现棉花的枝干和叶片分割。提取的株高、叶长、叶宽等表型参数与人工测量值的决定系数均趋近于1.0;同时,本研究实现了棉花表型参数的动态量化过程,为三维表型技术的实现提供了一种有效的方法。     

复杂环境下肉牛三维点云重建与目标提取方法

基于点云采集技术的非接触式测量能够缓解肉牛在采集体尺体重等参数时的应激问题,但采集肉牛的三维数据耗时长且易受环境干扰而产生大量无关噪点,难以适应实际养殖环境需求。为解决该问题,本研究开发了一种非接触式肉牛三维点云重建与目标提取系统与方法,采集的肉牛三维点云可为肉牛育种育肥提供大量标准化和三维量化表型数据。三维点云采集系统由Kinect DK深度相机、红外对射光栅触发器和射频识别（Radio Frequency Identification,RFID）触发器组成,可在肉牛自由通过步行道的瞬间实现肉牛点云的多角度瞬时采集。肉牛点云目标提取方法基于C++语言与点云处理库（Point Cloud Library,PCL）开发,通过空间直通滤波、统计学离群点滤波、随机抽样一致（Random Sample Consensus,RANSAC）形态拟合与点云抽稀、基于降维密度聚类的感知盒滤波等算法有效滤除与肉牛紧贴的栏杆等干扰,不破坏点云的完整性,实现肉牛点云的三维重建与分析。在养殖场中对20头肉牛进行了124次点云采集与目标提取试验。结果表明,重建的肉牛三维模型与肉牛真实形态1:1对应,系统的采集成功率为91.89%,采集的点云与真实值相比,体尺重建误差为0.6%。该系统与方法可以在无人干预的情况下,实现多角度肉牛点云数据的自动采集与三维重建,并从复杂环境中自动提取目标肉牛的点云,为非接触式肉牛体高、体宽、体斜长、胸围、腹围和体重等核心表型参数的测量提供重要的方法支撑,促进肉牛育种和育肥的标准化管理。     

基于点云的谷粒高通量表型信息自动提取技术

在进行水稻的数字化考种、表型与基因关联分析和数字农业仿真模拟时,需要大量的谷粒表型信息作数据支撑。本文提出了一种基于三维点云的谷粒高通量表型信息自动提取方法,能同时自动获取谷粒的三维模型和40个表型参数,实现谷粒形状的定量和定性描述。首先,通过对谷粒点云数据进行聚类分析,完成谷粒点云的分类;其次,实现谷粒的三维重建,对谷粒离散点云进行柱面构网,获取谷粒点云的三维模型数据;最后,根据不同表型参数的特点,实现了谷粒的三维表面积和体积、长、宽、高、3个主成分剖面的周长和面积等11个基本参数与长宽比、长高比和体积比等11个衍生参数以及18个形状因子的自动提取。利用Handyscan 700型手持式激光扫描仪获取的谷粒高精度点云数据进行实验,成功实现了谷粒表型参数的自动提取,测量结果可达毫米级。基于主成分方法分析了各表型参数的权重。以游标卡尺测量值和Geomagic Studio测量值作为真值,长、宽、高的平均相对误差为1.14%、1.15%和1.62%,体积和表面积的相对误差为零,3个主成分剖面面积的平均相对误差为1.82%、2.12%和2.43%。本文方法与人工测量方法及软件测量方法相比,精度相当,且具有批量、自动、人工干预少(仅数据采集阶段需要人工操作)以及效率高的特点。     

Kinect获取植物三维点云数据的去噪方法

为解决Kinect获取的玉米三维点云数据噪声影响三维重建精度的问题,根据Kinect所获取的点云数据特点,采用多帧数据融合的方法获取更完整的三维点云数据并对点云数据进行初步平滑;通过对Kinect所获数据噪声进行分析,提出了一种基于密度分析和深度数据双边滤波的方法,分别对离群点噪声和内部高频噪声进行处理。以Kinect获取的玉米及茄子的三维点云数据进行去噪实验,所用去噪时间仅为传统双边滤波去噪时间的2.71%和1.78%,并且能够达到很好的去噪效果。结果表明,所提方法能够方便、快捷地去除不同尺度的噪声,同时保留边缘数据的完整性,获得良好的植物三维点云数据。     

基于逆向工程技术的蜣螂外形数据采集与处理

采用三维激光扫描系统测量了臭蜣螂几何体表外形,获取了臭蜣螂几何体表外形的数据点云。利用逆向工程软件进行数据点云的平滑处理、精简处理及其多视数据的定位与拼接。使用点云数据网格化、曲面特征抽取与数据分片、曲面分割及直接拟合曲面片的造型方法,成功进行了臭蜣螂体表外形三维几何曲面模型的重构。     

基于颜色取样的苹果树枝干点云数据提取方法

为了快速提取苹果树冠层枝干三维点云数据,以不同生长时期苹果树冠层彩色点云数据为研究对象,提出了基于颜色取样的苹果树枝干点云数据提取方法。首先,提出了苹果树冠层彩色点云获取方法,利用Trimble TX8型地面三维激光扫描仪获取冠层点云数据,同轴全景摄像机获取彩色全景图,采用贴图方法着色点云数据;然后,提取全景图像苹果树冠层区域R、G、B颜色分量信息,根据其分布规律建立枝干部分自适应分割阈值,并根据颜色阈值删除冠层中非枝干部分彩色点云数据;最后,在Geomagic软件中经过封装—创建流形—编辑多边形—填充孔—光滑等一系列操作重建枝干三维模型。苹果树提取枝干点云数据实验结果表明,本文方法点云删除率为75. 74%,相对于人工枝干点云数据提取,侧枝数量平均准确率为93. 34%,效率提高200倍以上,大大缩短了冠层枝干三维重建时间。本研究成果可为有叶苹果树枝干动力学模型建立提供技术基础。     

番茄非接触式单果质量估测方法

针对目前非离株番茄果实的非接触式单果质量快速估测困难等问题,提出了一种基于局部点云和卷积神经网络的番茄单果质量估测方法。以浙粉702番茄为试验对象,首先通过深度相机采集50个番茄单果的336块原始点云,并增强至1 344块点云用于构建数据集。通过多种点云分割方法比较,选取三维连续卷积神经网络用于番茄单果分割。于分割后的数据提取点云沿x轴轴向尺寸dx、沿y轴轴向尺寸dy、沿z轴轴向尺寸dz和沿z轴投影最小外接圆直径d共4个空间特征信息,并将其馈送到3层回归网络中,用于训练、确定优化器和学习率达到最优状况下的单果质量估测模型。最后,选取268块增强点云对构建的数学模型进行测试,并进行模型准确性和稳定性评估分析。结果表明,与番茄单果实际质量相比,平均偏差3.7～4.8 g,平均相对误差约3.04%,优于传统图像处理方法。该研究可为其他农畜产品的非接触式单果质量估测提供技术参考。      

基于Kinect传感器的温室植株绿色与深度检测方法

植株目标的有无、颜色以及深度等特征的检测对于精准农业的发展,特别是喷雾机智能喷雾过程中的植株识别、林木种植中植株生长状态的检测等均具有重要意义。本文提出一种基于Kinect传感器的温室植株绿色与深度检测方法,首先通过Kinect传感器检测植株目标并获取其彩色图像和深度图像;再对所获取的彩色图像进行植株颜色的限制处理,以识别出绿色植株目标;对所获取的深度图像进行深度范围限制处理,去除范围以外的干扰物体;最后由植株目标的色彩特征图像与深度图像的距离特征结合,实现对所需检测距离范围内的绿色植株目标的检测。通过实验证明该方法能够实现限定深度范围内绿色植株目标的检测,场地试验验证了在实际的植株种植应用环境中该方法也能够实现植株区域的识别,可以应用于精准农业植株的检测与特征识别。     

基于深度图像的球形果实识别定位算法

为了解决近色背景果实识别困难问题,针对果实近球形的形态特性,提出了一种利用深度图像从果实形态角度进行果实识别定位的算法。该算法使用深度摄像头获取果树的深度图像,通过深度图像计算出各像素点的梯度向量,将梯度向量看作运动矢量场,并计算出矢量场的散度,根据散度最大原则,从矢量场中搜索出辐散中心点;然后利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点,以果实中心点为起点采用八方向搜索方法搜索出果实边界点,将果实边界点依次连接后形成的封闭区域内的果实图像导入点云;最后根据果实图像部分点云利用RANSAC算法求出目标果实的拟合球形,进而得出果实的尺寸以及三维空间位置。该算法无需传统算法需要利用的颜色特征,而仅利用了深度图像中的深度信息进行果实识别定位,能够克服传统算法受色彩、光照等因素影响的弊端,并且由于该算法完全没有利用到彩色图像信息,因此不仅可以实现绿色果实的识别定位,还可以实现采摘机器人在夜间环境下正常工作,为复杂环境下的果实识别定位算法研究提供了技术支撑。     

基于改进SIFT-ICP算法的Kinect植株点云配准方法

针对传统配准方法准确度低、速度慢的问题,提出了基于改进SIFT-ICP算法的彩色植株点云配准方法。首先采用Kinect获取不同视角下植株彩色图像和深度图像合成原始植株彩色点云,通过预处理提取原始点云植株信息,对植株点云进行尺度不变特征变换(SIFT)的特征点检测,得到点云配准关键点,再对关键点进行自适应法线估计,然后求取关键点的快速点特征直方图(FPFH),通过采样一致性(SAC-IA)初始配准方法改进点云间初始位置关系,最后利用Nanoflann加速最近点迭代(ICP)算法完成精确配准。试验结果表明,改进SIFT-ICP算法可以大幅度提高点云配准的准确性和快速性,其中对应点间平均欧氏距离小于7 mm,配准时间小于30 s。     

基于变尺度格网索引与机器学习的行道树靶标点云识别

针对行道树连续喷雾施药方式严重污染环境,果园对靶施药技术难以推广至复杂城区环境等问题,应用车载2D LiDAR获取街道三维点云数据,研究行道树靶标识别方法。构建变尺度格网点云索引结构,实现邻域快速搜索及点云在线处理;提取高程、深度、密度、协方差矩阵等11个点云球域特征,分析特征分布特性,采用基于径向基核函数的支持向量机算法融合特征,学习树冠点云分类器;采用FIFO缓冲区保存点云帧序列,实现行道树靶标在线识别。实验结果表明,该方法能够实现行道树靶标精确识别,在测试集上的分类错误率小于0.8%,检出率大于99.4%,虚警率小于0.9%,鉴别力最强的4个特征从高到低依次是高程均值、深度均值、高程范围和高程方差。