基于深度图像的猪体尺检测系统

为实现生猪饲养过程中体尺无接触检测,设计了一套基于双目视觉原理的猪体尺检测系统。针对色彩图像提取猪体轮廓易受污物和光照干扰的问题,提出基于深度图像的猪体轮廓提取算法。使用双目视觉系统获得猪体深度图像,利用帧差法提取猪只高度信息,并基于高度信息二值化图像,获得猪体轮廓;结合优化的基于凹陷结构的拐点提取算法,筛选体尺检测关键点,计算体长、体宽、体高、臀宽、臀高5个体尺,编写了基于以上算法的猪体尺检测程序。双目视觉系统三维检测的实验室验证表明:在2 m物距范围内,系统三维检测相对误差均小于1%;系统在实际猪场对32组猪体尺检测结果表明:与手工测量猪体尺相比,本系统检测的体尺平均相对误差在2%左右,平均误差小于2 cm。试验证明基于深度图像的猪体尺检测系统不容易受到脏污和光照干扰,能够实现生猪饲养过程中猪体尺的无接触检测。     

基于关键帧提取与头颈部去除的奶牛体尺测量方法

为提高奶牛体尺测量的效率与精度,降低劳动强度,提出一种基于关键帧提取与头颈部去除的奶牛体尺测量方法。首先,搭建奶牛俯视深度视频采集平台,利用分水岭算法提取深度图像中的奶牛目标;其次,使用图像扫描策略获取奶牛左右两侧轮廓,利用基于霍夫变换的直线检测方法,提取图像序列中含有完整奶牛躯干的关键帧;然后,根据奶牛头部区域骨架特征判定头部是否存在,若头部存在,则基于凸包分析方法去除图像中奶牛头部,并利用多项式曲线拟合方法去除奶牛颈部;最后,根据奶牛体尺测点的空间特征,自动计算奶牛体直长、肩宽、腹宽、臀宽及体高。利用35头奶牛的2.163帧深度图像对本文方法精度进行测试,结果分析表明,关键帧提取方法准确率为97.36%,可有效代替人工进行关键帧的选取;头部检测方法准确率为94.04%,提高了奶牛体尺测点定位的效率;体尺测量平均相对误差在3.3%以内。本文研究成果可提高奶牛体尺自动测量的效率与精度。     

基于单视角点云镜像的猪只体尺测量方法

为了克服人工家畜体尺测量耗时、应激大和工作强度大等问题,提出了一种基于单视角点云镜像的猪只体尺测量方法。首先使用单Xtion深度相机采集包含猪体的场景点云图像序列,并人工筛选出包含背部弯曲程度较小猪体的场景点云图像,然后基于随机采样一致性算法和聚类分割算法自动化分割目标猪体并对其进行姿态归一化,检测单视角猪体点云对称面,并利用对称面镜像获取完整猪体,最后利用自主研发的体尺测量软件测量猪只体尺。试验结果表明,利用该方法测量体长的平均相对误差为5.00%,臀宽测量的平均相对误差为7.40%,臀高测量的平均相对误差为5.74%。该方法为猪只体尺测量提供了切实可行的新途径。     

基于Kinect相机的苹果树三维点云配准

为建立具有真实彩色信息的果树三维点云形态结构模型,用Kinect相机获取不同视角下果树的原始三维点云,针对传统最近点迭代算法对待配准点云的空间位置要求苛刻的问题,提出了改进的点云配准算法。首先通过归一化对齐径向特征算法搜寻点云关键点,并使用快速点特征直方图描述子计算关键点处的特征向量。然后根据求得的特征向量估计2片点云关键点之间的空间映射关系,再基于随机抽样一致性算法提纯映射关系并完成点云的初始配准。最后利用最近点迭代算法完成点云的精确配准。实验结果表明,通过在最近点迭代算法前增加点云初始配准算法,有效地提高了点云配准的准确性和稳定性,能够对任意初始位置的2片点云进行准确匹配,平均配准误差为0.7 cm。     

基于Kinect的机器人抓取系统研究

智能抓取搬运机器人能够高效、可靠地完成各种搬运任务,降低工作人员的劳动强度,精准的物体定位是机器人执行搬运任务的基础。本文研究了基于Kinect的机器人抓取系统,可实现物体的类别检测、物体定位及机器人抓取任务。抓取系统由3个子系统(物体检测系统、物体定位系统及机器人抓取系统)组成。首先利用Kinect采集的物体图像信息训练单次多盒检测(Single multi-box detection,SSD)模型,然后根据SSD模型对物体的类别进行检测,得到物体在图像中的边框,并获取边框中物体像素坐标和深度,接着通过Kinect相机手眼标定法将像素坐标和深度转换到机器人基坐标系中,实现物体的定位,最后通过机器人逆运动学求解关节角,驱动机器人运动完成抓取搬运任务。对机器人进行了物体的定位和抓取实验,实验结果表明,物体的定位误差较小,物体抓取搬运实验的平均成功率达到97%,满足物体的抓取搬运需求。     

基于视觉测量的挖掘机工作装置姿态测量系统

提出了一种基于视觉测量的挖掘机工作装置姿态测量方法。使用工业相机获取工作装置侧视图像,采用鞍点检测方法快速捕捉工作臂上的人工靶标;将靶标间的固定几何尺寸关系作为约束条件筛选出靶标中的鞍点并计算相应工作臂的姿态角;通过预判靶标的运动范围以缩小图像检测区域,提高算法处理速度。试验表明,与挖掘机上原有的拉线传感器测量系统相比较,动臂和斗杆姿态角动态测量偏差分别小于1°和2°,处理每帧工作装置运动图像平均用时在100 ms以内,验证了该方法对挖掘机工作装置姿态测量的可行性。     

基于深度图像的多姿态肉牛体尺自动测量方法

养殖场中肉牛较为活跃,采集得到的图像数据中肉牛姿态多变,肉牛姿态端正帧较少,导致自动测量肉牛体尺困难。针对以上问题,本研究通过分析肉牛骨架特征和肉牛图像边缘轮廓特征,提出一种多姿态肉牛体尺自动测量方法。首先,利用深度相机Azure Kinect DK从正上方采集肉牛俯视深度视频数据,对视频数据进行分帧处理;其次,对原始深度图像进行预处理,将肉牛从复杂的背景中提取出来;再次,利用Zhang-Suen算法提取目标图像肉牛骨架,检测骨架交点和端点,分析肉牛头部特征,并确定头部去除点,去除图像中肉牛头部信息;最后,利用改进的U弦长曲率算法提取肉牛轮廓曲率曲线,根据曲率值确定体尺测点,将体尺测点转换到三维空间中,计算体尺参数。本研究通过分析大量深度图像数据,将图像中肉牛姿态分为左歪、右歪、姿态端正、低头和抬头五类。试验结果表明,本研究提出的基于骨架的多姿态肉牛头部去除方法在5种姿态下的头部去除成功率均高于92%;在23头肉牛不同姿态共46帧深度图像中,利用基于改进U弦长曲率的体尺测点提取方法,测得体直长测量的平均绝对误差为2.73 cm,体高测量的平均绝对误差为2.07 cm,腹宽测量的平均绝对误差为1.47 cm。研究结果可为精确测量多姿态下肉牛体尺提供支撑。     

基于Kinect相机的穴盘苗生长过程无损监测方法

为实现工厂化穴盘苗的无损测量,提出一种基于Kinect相机的穴盘苗生长过程无损监测方法.以黄瓜穴盘苗为监测对象,在穴盘苗正上方架设Kinect相机,获取穴盘苗的彩色图像和深度图像,并进行彩色图和深度图之间的像素匹配;通过对彩色图像进行预处理、阈值分割、形态学运算和连通分量统计,获取穴盘发芽率;同时,由图像分割获取的幼苗...     

基于多角度Kinect v2的羊只三维模型重构方法研究

羊只的体尺参数是衡量其生长发育状况、生产性能和遗传特性的关键指标。重建羊只的三维模型可以为自动化获取多种羊只体尺参数提供数据基础,因此提出一种基于多角度Kinect v2的羊只三维模型重构方法。该方法通过放置在羊只顶部和左右两个侧面的Kinect v2设备,获取羊只的三维点云数据;利用这些数据中的点云之间的相对位置关系,进行点云坐标的转换和初始配准;采用ICP算法进行精确配准建立三维模型。结果表明：当Kinect v2深度相机高度为120 cm、俯视角为30°时,获取的点云质量较高,自动配准的平均误差为0.233 cm,平均耗时为12.89 s。根据模型计算出的羊只体高、体斜长、十字部高和腰脚宽等体尺参数与实际测量平均误差均在5%以内。     

基于DeepLabCut算法的猪只体尺快速测量方法研究

为解决基于计算机视觉猪只体尺测量过程中存在的对猪只姿态依赖度高、测定效率低等问题,提出了一种基于DeepLabCut算法的非接触式猪只体尺快速测量方法。本研究以长白猪为研究对象,使用RealSense L515深感相机作为图像数据采集单元获取猪只背部RGB-D数据,通过分析对比ResNet、MobileNet-V2、EfficientNet系列的10个主干网络训练效果,选取EfficientNet-b6模型作为DeepLabCut算法最优主干网络进行猪只体尺特征点检测;为实现猪只体尺数据的精准计算,本文采用SVM模型识别猪只站立姿态,筛选猪只自然站立状态;在此基础上,采用深度数据临近区域替换算法对离群特征点进行优化,并计算猪只体长、体宽、体高、臀宽和臀高5项体尺指标。经对140组猪只图像进行测试发现,本研究提出的算法可实现猪只自然站立姿态下体尺的实时、精准测量,体尺最大均方根误差为1.79 cm,计算耗时为每帧0.27 s。     

基于点云语义分割的猪只体尺测量方法研究

生猪的体尺参数是生猪生长状态的重要评判标准,而人工测量体尺耗时耗力且容易造成猪只的应激反应,本文研究了无接触式猪只体尺参数测量方法,借鉴人工测量经验法,提出基于点云语义分割的猪只体尺测量方法。本文以大约克夏猪为研究对象,搭建无接触式猪只点云采集平台,采集3 510组猪只双侧点云数据;利用直通滤波器与随机采样一致性分割处理方法去除背景点云,基于统计滤波器去除离群点,采用体素下采样方法稀疏点云,完成猪只点云的预处理;基于PointNet网络,结合注意力模块构建语义分割模型,针对不同分割部位设计猪只体尺测量方法。试验结果表明,在自制数据集上,改进的语义分割模型准确率为86.3%,相较于PointNet、PointNet++和3D-RCNN分别高8、5.7、2.6个百分点;体尺的测量值与实测值最大绝对误差为6.8 cm,平均绝对误差均在5 cm以内,具有较高的估算准确性,此方法能够用于猪只体尺测量。本文将语义分割与体尺测量相结合,可为后续非接触测量提供思路。     

基于改进Otsu算法的生猪热红外图像耳根特征区域检测

为研究规模化生猪养殖场中非接触式体温检测方法,以自行设计的热红外图像采集器采集生猪图像,选取HSV颜色空间对图像进行变换,生成S层图像,应用形态学特征闭运算对二值化图像去噪。用改进后的Otsu算法,分别对仔猪、育肥猪和妊娠猪图像耳根特征区域进行检测。结果表明,该方法可以100%正确检测具有完整耳根部特征的仔猪、育肥猪、妊娠猪图像;对于耳根部特征不完整的仔猪图像23%可正确进行检测,育肥猪图像25%可正确进行检测,妊娠猪图像33%可正确进行检测;无法检测不具有耳根部特征的图像。     

基于双视角图像的山羊体尺自动测量方法

针对规模化羊场对山羊体尺无接触式自动测量的需求,设计了一种山羊双视角图像采集装置并开发了配套的山羊体尺自动测量算法。首先,开发了山羊双视角图像自动采集装置并在养殖场完成山羊双视角图像数据集的构建;然后,采用背景减除法二值化羊体俯视图,引入简单线性迭代聚类算法(SLIC)构建侧视图超像素的纹理和颜色特征向量,训练基于支持向量机(SVM)的超像素分类器,综合利用置信度和超像素区域邻接图(RAG)获取侧视图中的羊体二值图;最后,提出了在侧视和俯视二值图像中定位关键体尺特征点的方法,自动提取山羊体高、体斜长、胸深、胸宽、管径参数,拟合得到胸围和管围参数。算法测试结果表明,羊体侧视图前景区域超像素分类正确率超过94%,算法自动提取与人工标注的侧视、俯视前景二值图的交并比分别为96.1%和97.5%。以人工使用软尺测量获得体尺参数为金标准评价算法自动提取体尺参数的精度,结果表明管围、体高、胸深、胸宽、胸围和体斜长的平均相对误差分别为5.5%、3.7%、2.6%、5.2%、4.1%和3.9%。本文开发的羊体双视角图像采集装置及相应的图像处理方法可以满足山羊体尺无接触自动测量的精度要求,为山羊体尺的高...     

基于YOLOv4的猪只饮食行为检测方法

针对猪舍环境下猪只饮食行为自动化检测程度较低的问题,提出了一种基于YOLOv4的猪只饮食行为检测模型.基于多时间段、多视角和不同程度遮挡的猪只饮食图像,建立了猪只饮食行为图像数据库,利用YOLOv4深度学习网络的深层次特征提取、高精度检测分类特性,对猪只饮食行为进行检测.结果表明,基于YOLOv4的猪只饮食行为检测模型...     

融合体尺信息的封闭式种猪性能测定站设计与试验

针对现有封闭式种猪性能测定站自动化程度不高、无法提供种猪体尺信息等问题,设计了一种集种猪自动识别、体质量自动称量、采食量自动统计、体尺自动测量于一体的封闭式种猪性能测定站。该系统机械部分采用前后端分离设计,通过设计采食门装置和门禁装置为种猪提供封闭测量环境,在此基础上,基于FIR滤波设计了种猪体质量动态称量算法,基于椭圆拟合设计了种猪理想姿态筛选算法,并进一步提出了基于包络分析的种猪体尺测量算法。分别进行了利用实际猪群模拟种猪生长性能验证试验和体尺测量试验,试验验证结果如下：生长性能试验猪群自由采食日均次数8.94次、日均采食时间92.93 min、群体料肉比2.66,Logistic拟合的生长曲线拐点日龄为126.18 d、拐点体质量72.70 kg,符合猪群的生长规律;体尺测量试验中猪群能够筛选出理想姿态帧,体长、体宽、臀宽、体高、臀高等体尺的平均相对检测误差分别为3.69%、2.53%、2.60%、2.59%、2.17%,满足体尺测量要求。试验结果表明,本文设计的封闭式种猪性能测定站可用于种猪的生产性能测定,能够同时提供种猪体质量、采食量和体尺等信息,提高育种效率。