基于点云采集设备的奶牛体尺指标测量

为验证Xtion在奶牛体尺测量上应用的可行性,该文以提高现有体尺指标测量技术的精度、效率及自动化程度为目标,选用Xtion作为采集设备,石膏奶牛模型和真实奶牛作为试验对象,在实验室环境下,采用高精度三维扫描仪扫描奶牛模型作为对比点云数据,以不同距离下Xtion采集的数据作为测试点云数据,通过统计误差定量分析数据精度和密度随采集距离变化的规律,以确定合适的采集距离。养殖场环境下,在小于1.2 m采集距离条件下利用Xtion获取奶牛点云数据,采用Meshlab对点云数据进行可视化和交互测量,定性分析阳光、体表材质等因素对获取点云数据质量的影响,并将交互测量与人工测量结果进行对比分析。结果表明,在遮挡太阳光和采集距离大于0.6小于1.2 m条件下,平均误差小于±5 mm,相对误差小于10%,Xtion作为点云采集设备用于奶牛体尺测量是可行的。     

基于RGB-D相机的脐橙实时识别定位与分级方法

为实现脐橙采摘机器人对脐橙果实进行实时识别、定位和分级采摘的需求,该研究提出了一种基于RGB-D相机数据的脐橙果实实时识别、定位及分级的OrangePointSeg算法。首先利用微软最新消费级深度相机（Azure Kinect DK）采集脐橙果实的RGB-D数据,建立脐橙果实实例分割数据集及增强数据集。然后通过改进YOLACT算法对脐橙果实进行实时分割并生成实例掩膜,与配准后的深度图裁剪得到果实深度点云,再利用最小二乘法进行脐橙果实外形拟合,得到其相机坐标系下质心坐标及半径。试验结果表明,在果实识别阶段,改进YOLACT算法在该数据集上的检测速度为44.63帧/s,平均精度为31.15%。在果实定位阶段,1 400～2 000点云数量时的拟合时间为1.99 ms,定位误差为0.49 cm,拟合出的半径均方根误差为0.43 cm,体积均方根误差为52.6 mL,在大于800点云数量和拍摄距离1 m以内时,定位误差均在0.46 cm以内。最后通过引入并行化计算,OrangePointSeg的总体处理速度为29.4帧/s,能够较好地实现精度与速度的平衡,利于实际应用和工程部署。该研究成果可推广至其他类似形态学特征的果实识别中,为果园的智能化管理提供行之有效的技术支撑。     

基于显著性特征的蝴蝶兰组培苗夹取点检测方法

为了提高蝴蝶兰自动化快速繁育过程中组培苗夹取点视觉检测的适应性和效率,该研究提出了一种基于改进U²-Net显著性检测网络（MBU²-Net⁺）的组培苗夹取点定位方法。首先,通过显著性检测网络得到蝴蝶兰组培苗的显著性图像;然后,对显著性图像进行骨架提取,并经过形态学分析计算定位组培苗夹取点;最后,将夹取点位置数据发送给机械臂进行夹取。在图像显著性检测试验中,MBU²-Net⁺的平均绝对误差为0.002,最大F₁分数为0.993,FPS（frames per second,每秒帧率）为33.99 帧/s,模型权重大小为2.37 MB;在组培苗夹取试验中,4组共112颗苗的夹取点提取成功率为85.71%。为验证该研究的适应性,将其应用于各阶段组培苗以及部分虚拟两叶苗共11株种苗的夹取点提取,成功率为81.82%,使用该方法对不同时期的蝴蝶兰组培苗进行夹取点检测,具有较高的成功率。研究结果可为发展组培苗自动化快速繁育技术提供参考。     

基于深度学习与融合地形特征的黄土陷穴面向对象提取方法

黄土陷穴作为黄土高原地区一种特殊的地貌类型及地质灾害,其研究对指导黄土地区水土保持与工程建设工作具有重要意义。现阶段对陷穴的研究多基于传统野外调查,该方式成本高、效率低。为此,该研究开展面向对象与卷积神经网络（Convolutional Neural Networks,CNN）相结合的黄土陷穴自动化提取方法研究,并讨论融合地形特征对CNN模型提取精度的影响。研究选取黄土陷穴发育的典型区域,基于WorldView3遥感数据与ALOS高程数据,通过莫兰指数与灰度共生矩阵熵值确定影像的分割尺度,以面向对象的方式提取黄土陷穴的光谱、形状、纹理以及地形特征,制作融合地形特征与未融合地形特征的两类训练样本,进而训练两种CNN模型对同一区域内黄土陷穴进行提取,根据精确率、召回率以及F1分数评价模型的提取精度、分析对比两种CNN模型的提取结果,并建立支持向量机（Support Vector Machine,SVM）模型与CNN模型进行比较。研究结果表明,融合地形特征进行训练的CNN模型精确率达94.62%,召回率达86.27%、F1分数达90.26%,综合提取性能最好,相较于未融合地形特征训练的CNN模型,黄土陷穴的错分量大大减少,精确率提升18.10个百分点,F1分数提升9.15个百分点;两种CNN模型F1分数均达80%以上,比SVM模型分别高出6.94个百分点,16.09个百分点,提取结果均优于SVM模型;综上,融合地形特征的CNN模型可快速、精确地提取黄土陷穴,从而为黄土地区陷穴防治工作提供支持。     

基于改进YOLOV5s网络的奶牛多尺度行为识别方法

奶牛站立、喝水、行走、躺卧等日常行为与其生理健康密切相关,高效准确识别奶牛行为对及时掌握奶牛健康状况,提高养殖场经济效益具有重要意义。针对群体养殖环境下奶牛行为数据中,场景复杂、目标尺度变化大、奶牛行为多样等对行为识别造成的干扰,该研究提出一种改进YOLOV5s奶牛多尺度行为识别方法。该方法在骨干网络顶层引入基于通道的Transformer注意力机制使模型关注奶牛目标区域,同时对奶牛多尺度行为目标增加路径聚合结构的支路与检测器获取底层细节特征,并引入SE（Squeeze-and-Excitation Networks）注意力机制优化检测器,构建SEPH（SE Prediction Head）识别重要特征,提高奶牛多尺度行为识别能力。试验验证改进后的奶牛行为识别模型在无权重激增的同时,多尺度目标识别结果的平均精度均值较YOLOV5s提高1.2个百分点,尤其是对奶牛行走识别结果的平均精度4.9个百分点,研究结果为群体养殖环境下,全天实时监测奶牛行为提供参考。     

融合YOLOv5s与通道剪枝算法的奶牛轻量化个体识别方法

实时准确地识别奶牛个体身份是构建完善的奶牛精准养殖技术架构的先决条件。如何在快速精准识别奶牛个体的同时保证模型的轻量化是至关重要的。本文提出了一种在低计算量和低参数量条件下快速准确识别奶牛个体身份的方法。研究采用YOLOv5s作为原始模型,利用BN层中缩放因子对模型中通道的重要性进行判断并剪除不重要的通道,从而降低网络复杂度。为了更加有效地压缩模型,本研究在损失函数中增加稀疏损失项,实现模型通道的稀疏化。测试试验结果表明,剪枝后的模型平均精度mAP为99.50%,计算量为8.1 G,参数量为1.630 M,每秒帧数为135.14 帧。相比其他具有代表性的目标检测模型,本文方法拥有最小的模型复杂度。此外,相比其他模型,本文方法对奶牛斑纹特征依赖程度更低,在低照度条件下有着更加出色的表现。考虑该方法具有快速、准确、鲁棒、低计算量和低参数量的特点,在推进养殖场中奶牛精细化养殖方面具有巨大潜能。     

基于鱼体特征点检测的淡水鱼种类识别

针对传统机器视觉技术对淡水鱼种类进行检测时特征提取过程复杂的问题,该研究提出了基于特征点检测的淡水鱼种类识别方法。以鳊、鳙、草鱼、鲢、鲤5种大宗淡水鱼为对象,构建了淡水鱼特征点检测数据集;以AlexNet模型为基础,通过减小卷积核尺寸、去除局部响应归一化、引入批量归一化、更换损失函数,构建了改进AlexNet模型用于特征点检测;并以特征点为依据提取特征值、构造特征向量,使用Fisher判别分析方法实现了淡水鱼的种类识别。试验结果表明：改进AlexNet模型在测试集上的归一化平均误差的均值为0.0099,阈值δ为0.02和0.03时的失败率F_0.02、F_0.03分别为2.50%和0.83%,具有较好的精准度和误差分布情况;基于该模型和Fisher判别分析的淡水鱼种类识别方法对5种淡水鱼的识别准确率为98.0%,单幅图像的平均识别时间为0.368 s,保证了时效性。由此可知,提出的改进AlexNet模型能实现淡水鱼的特征点检测并具有较高的精度,可为淡水鱼种类识别、尺寸检测、鱼体分割等提供条件,该方法可为淡水鱼自动化分类装置的研发奠定基础。     

基于通道特征金字塔的田间葡萄实时语义分割方法

复杂环境下葡萄的快速检测识别是智能采摘的关键步骤,为解决目前葡萄识别精度低和实时性差的问题,该研究提出一种轻量级葡萄实时语义分割模型（Grape Real-time Semantic Segmentation Model,GRSM）。首先,利用通道特征金字塔（Channel-wise Feature Pyramid,CFP）模块进行特征提取,该模块通过1?3和3?1空洞卷积的跳跃连接,在减少模型参数量的同时提取葡萄图像的多尺度特征和上下文信息;然后,采用池化卷积融合结构完成下采样,增加可训练参数以减少信息损失;最后,利用跳跃连接融合多种特征恢复图像细节。试验结果表明：该研究所提出的模型在田间葡萄测试集上达到了78.8%的平均交并比,平均像素准确率为90.3%,处理速度达到68.56帧/s,网络结构大小仅为4.88MB。该模型具有较高分割识别精度和较好实时性,能满足葡萄采摘机器人对视觉识别系统的要求,为葡萄的智能化采摘提供了理论基础。     

基于头颈部轮廓拟合直线斜率特征的奶牛跛行检测方法

针对人工跛行检测不够及时,难以发现突发中、重度跛行及轻度跛行行为的问题,该文提出了一种基于正态分布背景统计模型(normal background statistical model,NBSM)与局部循环中心补偿跟踪模型(local circulation center compensation track,LCCCT)和线性斜率最近邻分类(distilling data of KNN,DSKNN)技术的奶牛跛行检测方法。首先利用NBSM模型对奶牛序列图像中的目标奶牛像素区域进行分割,然后对得到的奶牛像素区域利用LCCCT模型提取目标奶牛身体前部像素区域,用其区域通过DSKNN模型提取目标奶牛的头部、颈部以及与颈连接的背部轮廓线拟合直线斜率数据,基于大样本视频序列帧数据将视频集制成轻度跛行、中重度跛行及正常等3类标签的斜率数据集。为了验证算法的有效性,对随机选取的18段奶牛视频进行了验证,其中正常奶牛、轻度跛行奶牛及中重跛行奶牛视频段各6段,获得头部、颈部及背部连接处的拟合直线斜率数据集。在未清洗的数据集上,分别利用SVM、Naive Bayes以及KNN分类算法进行了奶牛跛行的分类检测试验,试验结果表明,SVM与Naive Bayes跛行分类检测正确率均为82.78%,KNN奶牛跛行检测正确率为81.67%。将未清洗的数据集进行清洗后,3类算法的结果表明,KNN分类算法的跛行检测正确率达93.89%,高于SVM分类算法的91.11%及Naive Bayes分类算法的86.11%。上述结果表明通过头部、颈部及背部连接处的拟合直线斜率特性可以正确检测奶牛跛行,未清洗的数据经数据清洗后,KNN分类算法可以取得更好的检测结果。该研究结果对于奶牛跛行疾病的预防、诊断具有重要意义。     

基于注意力机制及多尺度特征融合的番茄叶片缺素图像分类方法

针对番茄早期缺素性状不明显及各生长期特征差异较大所导致的特征区域尺寸不一致、难提取、难辩别等问题,提出了一种基于注意力机制及多尺度特征融合卷积神经网络的番茄叶片缺素图像分类方法（Multi-Scale Feature Fusion Convolutional Neural Networks Based On Atte ntion Mechanism,MSFF-AM-CNNs）。首先根据番茄叶片缺素特点提出了多尺度特征融合结构（Multi-Scale Feature Fusion Module,MSFF Module）;其次在DenseNet基础上,结合浅层网络主要提取纹理、细节特征,深层网络主要提取轮廓、形状特征的特点分别提出具有针对性的特征提取方法,通过不同形式引入注意力机制及多尺度特征融合结构,使全局多尺度信息融合多个特征通道、选择性地强调信息特征并达到对特征精准定位的功能;同时引入Focal Loss函数以减少易分类样本的权重。试验结果表明,MSFF-AM-CNNs的平均召回率、平均F1得分、平均准确率较原模型DenseNet-121均大幅提升,其中缺氮和缺钾叶片的准确率分别提高了8.06和6.14个百分点,召回率分别提高了6.31和5.00个百分点,F1得分分别提高了7.25和5.55个百分点,平均识别准确率可达95.92%,具有较高的识别准确率及广泛的适用性,能够满足番茄叶片缺素图像的高精度分类需求,可为植物叶片缺素识别提供参考。     

基于探索性分析的的荔枝果及结果母枝颜色特征分析与识别

从复杂背景中识别成熟荔枝串中的荔枝果及结果母枝,获取结果母枝上的采摘点是机器人视觉定位与识别的难点,荔枝果、结果母枝与叶子各部位图像颜色特征分析与识别成为研究重点。首先针对荔枝果与结果母枝的特点、光照与环境的特殊性及不确定性,提出了探索性分析与荔枝图像识别的融合方法,对荔枝果与结果母枝进行了图像分类与统计的探索性分析,并给出了荔枝图像数据的探索性分析流程图;其次,根据荔枝不同部位颜色均值分布的特点,设计了荔枝果、结果母枝及叶子在6种色彩模型下的颜色均值分布箱线图,通过图形启示的数据分析与探索,给出了基于YCbCr色彩空间的Cr单通道图的荔枝各部位分类识别的视觉模型,分析表明Cr分量值在0.5～0.54能去除叶子和侧枝等复杂背景,实现荔枝串中的荔枝果与结果母枝的分割。最后,以60组不同光照条件的180幅自然环境下采集的荔枝图像为试验测试对象,用颜色特征的视觉模型结合阈值分割方法有效地识别了成熟荔枝串与荔枝果,荔枝串与荔枝果的平均识别率分别为91.67%和95.00%。用探索性分析与图像运算相结合的方法成功地提取了结果母枝(识别率为86.67%),并用计算出的采摘点进行视觉定位的仿真。试验和仿真结果表明视觉模型及其方法能对荔枝不同部位进行有效识别。     

基于特征点提取匹配的蝗虫切片图像的拼接和修复方法

由于环境和切片本身特性的影响,试验中获取的蝗虫切片总是不完整或者带有褶皱的。针对这一问题,提出了一种基于图像匹配的蝗虫切片拼接和修复方法,以序列切片中缺损切片的邻近切片图作为参考对象,对缺损切片图像进行拼接和修复。首先对切片进行小波降噪,降低噪声对匹配的影响;然后用尺度不变特征变换(scale.invariant feature transform,SIFT)算法和快速鲁棒特征(speed-up robust features,SIJRF)算法获取切片特征点并生成特征向量,完成切片的初始特征点匹配;随后利用随机采样一致(random sample consensus,RANSAC)算法进行匹配矫正,剔除匹配点对中的误匹配,并利用最小二乘法求解出单应性矩阵;最后用正确的匹配点对和单应性矩阵完成蝗虫切片的拼接,利用求得的空间映射模型找到褶皱部分相应的匹配域,完成对缺损部分的修复。试验表明:提出的切片拼接和修复方法的所提取的特征点的正确匹配率能够达到72.2%,并且运行速度以及匹配效果都能在一定程度上满足切片修复的要求,为后面进行蝗虫切片褶皱打开以及蝗虫体的三维重建提供了技术参考。     

基于实例分割的柑橘花朵识别及花量统计

柑橘隔年结果现象严重,花量统计有助于果园的规划管理,并对产量预测有重要意义,但是柑橘单一植株花量巨大,花朵紧凑密集,花期树叶遮挡覆盖,对花量计算造成很大的阻碍。对此该研究提出基于实例分割的柑橘花朵识别与花量统计方法,以花期的柑橘树冠图像为样本进行花朵实例的识别及分割,通过对MaskR-CNN主体卷积部分和掩膜分支部分的优化,实现对复杂结构图像中密集小尺度柑橘花朵目标的高效检测、获取图像中可见花数量。结果显示,该方法花量识别神经网络的平均精度为36.3,花量计算误差为11.9%,对比未优化MaskR-CNN网络在训练和识别的时间效率上均有显著提升。该研究解决了柑橘花量统计难度高的问题,有助于柑橘早期测产和落花监测,并为花量控制提供决策依据。