群养猪侵略性行为的深度学习识别方法

为了解决因传统机器视觉和图像处理方法的局限性以及复杂的猪体姿态和猪舍环境导致对群养猪侵略性行为识别的有效性、准确率较低的问题,该文基于深度学习的方法,提出使用3DCONV的群养猪侵略性行为识别算法-3DConvNet。分3个批次采集18头9.6 kg左右的大白仔猪视频图像,选用第一批次中包含28 d内各个时段的撕咬、撞击、追逐、踩踏4大类,咬耳、咬尾、咬身、头撞头、头撞身、追逐以及踩踏7小类侵略性行为以及吃食、饮水、休息等非侵略性行为共计740段(27114帧)视频作为训练集和验证集,训练集和验证集比例为3:1。结果表明,3DConvNet网络模型在训练集上的识别准确度达96.78%,在验证集上识别准确度达95.70%。该文算法模型对于不同训练集批次的猪只以及不良照明条件下依然能准确识别侵略性行为,算法模型泛化性能良好。与C3D模型进行对比,该文提出的网络模型准确率高出43.47个百分点,单帧图像处理时间为0.50 s,可满足实时检测的要求。研究结果可为猪场养殖环境中针对猪只侵略性行为检测提供参考。     

基于姿态与时序特征的猪只行为识别方法

生猪行为监测是生猪养殖管理过程中的一个重要环节。该研究提出了基于姿态与时序特征的猪只行为识别方法。首先采集和标注猪栏内猪只图像，分别构建了猪只目标检测数据集、猪只关键点数据集和猪只行为识别数据集；利用构建的数据集，分别训练了基于YOLOv5s的猪只检测模型、基于轻量化OpenPose算法的猪只姿态估计模型和基于ST-GCN算法的猪只行为识别模型，并搭建了猪只行为识别系统。经测试，文中训练的YOLOv5s猪只检测模型mAP（mean Average Precision）最高达到0.995，姿态估计模型平均精度和平均召回率达到93%以上，基于ST-GCN的猪只行为识别模型的平均准确率为86.67%。文中构建的猪只行为识别系统中基于LibTorch推理猪只检测模型和猪只姿态估计模型的单帧推理耗时分别约为14和65 ms，单只猪行为识别推理耗时约为8 ms，每提取200帧连续姿态进行一次行为识别推理，平均17 s更新一次行为识别结果。证明提出的基于姿态与时序特征的猪只行为识别方法具有一定可行性，为群养猪场景下的猪只行为识别提供了思路。     

基于语义部位分割的条纹斑竹鲨鱼体运动姿态解析

条纹斑竹鲨具有较高的经济价值和医用研究价值。人工驯养对环境和温度等因素要求较高,时常出现大规模病死现象。利用视频图像量化分析鱼体运动行为,有助于进行异常识别和早期预警,将有效提高养殖养护水平。该研究针对人工驯养的条纹斑竹鲨鱼,提出一种基于深度神经网络的语义部位分割方法,并将分割结果应用于剖析条斑鲨鱼体运动姿态。首先,依据条斑鲨形态特征将其划分为7个可视的身体组成构件(头部、右胸鳍、左胸鳍、右腹鳍、左腹鳍、躯干、尾巴);再对全景养殖监控视频中抽取的476幅条斑鲨子图进行各部位的像素级标记,通过数据增强到1 944幅建立鱼体语义部位数据集,其中训练集为1166幅图像,测试集为778幅图像;然后,在语义分割网络模型基础上进行深度学习训练,使用深度学习框架对网络参数进行微调使得网络训练结果达到最优。最后,利用语义部位分割结果定位躯干和鱼头质心建立随体坐标,通过随体坐标的方向变化判明鱼体动作姿态。基于FCN-8s和Segnet两种深度网络模型进行了鱼体部位分割的对比试验,测试结果表明基于Segnet网络的分割方法在头部、右胸鳍、左胸鳍、右腹鳍、左腹鳍、躯干、尾巴部位的准确度分别高出FCN-8s深度网络1.50,4.70,6.95,6.56,6.01,0.85,0.84个百分点。语义部位分割结果能够有效判别条斑鲨鱼体目标的动作姿态,可为鱼体异常行为识别和进一步开展面向条斑鲨的动物行为学试验提供技术参考。     

改进Faster R-CNN的群养猪只圈内位置识别与应用

群养圈栏内猪只的位置分布是反映其健康福利的重要指标。为解决传统人工观察方式存在的人力耗费大、观察时间长和主观性强等问题,实现群养猪只圈内位置的高效准确获取,该研究以三原色（Red Green Blue,RGB）图像为数据源,提出了改进的快速区域卷积神经网络（Faster Region Convolutional Neural Networks,Faster R-CNN）的群养猪只圈内位置识别算法,将时间序列引入候选框区域算法,设计Faster R-CNN和轻量化CNN网络的混合体,将残差网络（Residual Network,ResNet）作为特征提取卷积层,引入PNPoly算法判断猪只在圈内的所处区域。对育成和育肥2个饲养阶段的3个猪圈进行24 h连续98 d的视频录像,从中随机提取图像25 000张作为训练集、验证集和测试集,经测试该算法识别准确率可达96.7%,识别速度为每帧0.064 s。通过该算法获得了不同猪圈和日龄的猪群位置分布热力图、分布比例和昼夜节律,猪圈饲养面积的增加可使猪群在实体地面的分布比例显著提高（P＜0.05）。该方法可为猪只群体行为实时监测提供技术参考。     

温室绿熟番茄机器视觉检测方法

针对基于可见光图像对绿色番茄进行识别过程中,光线不均造成的阴影等会影响果实的识别、枝干和叶片对果实的遮挡以及果实之间的遮挡对果实识别的影响等难题,该文对基于机器视觉的绿色番茄检测方法进行研究。首先通过快速归一化互相关函数(FNCC,fast normalized cross correlation)方法对果实的潜在区域进行检测,再通过基于直方图信息的区域分类器对果实潜在区域进行分类,判别该区域是否属于绿色果实,并对非果实区域进行滤除,估计果实区域的个数。与此同时,基于颜色分析对输入图像进行分割,并通过霍夫变换圆检测绿色果实的位置。最终对基于FNCC和霍夫变换圆检测方法的检测结果进行融合,实现对绿色番茄果实的检测。当绿色果实和红色果实同时存在时,将绿色果实检测结果与基于局部极大值法和随机圆环变换检测圆算法的红色番茄果实检测结果进行合并。算法通过有机结合纹理信息、颜色信息及番茄的形状信息,对绿色番茄果实进行了检测,解决了绿色番茄与叶子、茎秆等背景颜色接近等难题。文中共使用了70幅番茄图像,其中35幅图像作为训练集图像,35幅作为验证集图像。所提出算法对训练集图像中的83个果实的检测正确率为89.2%,对验证集图像中105个果实的检测正确率为86.7%,为番茄采摘机器人采摘红色和绿色成熟番茄奠定了基础。     

基于机器视觉的温室番茄裂果检测

该文通过对温室番茄果实进行定位及裂果检测,可为番茄裂果率预估及后续裂果自动筛选提供参考。针对自然光照下采集的各类番茄图像,在相关颜色空间中进行阈值预分割,利用前期支持向量机训练得到的纹理特征分类器对预分割区域进行二次判别;之后在前景区域利用显著性角点分割构造边缘轮廓集,利用基于最小二乘法修正的改进霍夫变换拟合单个番茄目标;最后利用二维Gabor小波算子对拟合的单个番茄区域进行纹理特征提取及裂果判别。文中共采集82幅番茄图像,其中50幅图像作为训练集图像,32幅图像作为验证集,所提算法对测试集中总共128个番茄的果实正确检出率为91.41%,对其中35裂果的正确判别率为97.14%,裂果判别部分平均耗时21 ms。试验结果表明,该方法具有较好的鲁棒性与可靠性,对成熟期番茄裂果率的估计研究及采摘过程中裂果的自动分级筛选具有较好的指导意义,为未来实现温室番茄果实生长状态在线监测提供参考。     

改进帧间差分-深度学习识别群养猪只典型行为

群养猪行为是评估猪群对环境适应性的重要指标。猪场环境中,猪只行为识别易受不同光线和猪只粘连等因素影响,为提高群养猪只行为识别精度与效率,该研究提出一种基于改进帧间差分-深度学习的群养猪只饮食、躺卧、站立和打斗等典型行为识别方法。该研究以18只50～115日龄长白猪为研究对象,采集视频帧1 117张,经图像增强共得到4 468张图像作为数据集。首先,选取Faster R-CNN、SSD、Retinanet、Detection Transformer和YOLOv5五种典型深度学习模型进行姿态检测研究,通过对比分析,确定了最优姿态检测模型;然后,对传统帧间差分法进行了改进,改进后帧间差分法能有效提取猪只完整的活动像素特征,使检测结果接近实际运动猪只目标;最后,引入打斗活动比例（Proportion of Fighting Activities, PFA）和打斗行为比例（Proportion of Fighting Behavior, PFB）2个指标优化猪只打斗行为识别模型,并对模型进行评价,确定最优行为模型。经测试,YOLOv5对群养猪只典型姿态检测平均精度均值达93.80%,模型大小为1...     

基于流形学习算法的马铃薯机械损伤机器视觉检测方法

针对马铃薯表面芽眼和凹凸不平的影响,使之马铃薯机械损伤难以检测的问题,该文提出了一种基于流形学习算法的马铃薯机械损伤检测方法。首先利用马铃薯图像的显著图分割出马铃薯区域,然后利用主成分分析(principal component analysis,PCA)、等距映射(isometric mapping,Isomap)和局部线性嵌入(locally-linear embedding,LLE)3种流形学习方法提取马铃薯区域图像特征参数,然后分别建立基于3种流形特征的支持向量机(support vector machine,SVM)分类模型PCA-SVM、Isomap-SVM和LLE-SVM,利用网格搜索法(grid search)、遗传算法(genetic algorithm,GA)以及粒子群算法(particle swarm optimization,PSO)3种模型参数优化方法,优化支持向量机模型的惩罚参数c和RBF核参数g,以建立最优分类模型,最后比较3种分类模型的识别效果,确定最优分类模型。研究结果表明,PCA-SVM分类模型对训练集识别率为100%,测试集识别率为100%;Isomap-SVM分类模型对训练集识别率为100%,测试集识别率为91.7%;LLE-SVM分类模型对训练集识别率为100%,测试集识别率为91.7%,表明PCA、Isomap和LLE 3种流形学习方法用于马铃薯机械损伤检测是可行的,其中PCA-SVM分类模型检测效果最优。     

基于迁移学习的棉花叶部病虫害图像识别

针对传统图像识别方法准确率低、手工提取特征等问题,该研究以棉花叶部病虫害图像为研究对象,利用迁移学习算法并辅以数据增强技术,实现棉花叶部病虫害图像准确分类。首先改进AlexNet模型,利用PlantVillage大数据集训练取得预训练模型,在预训练模型上使用棉花病虫害数据微调参数,得到平均测试准确率为93.50%;然后使用数据增强技术扩充原始数据集,在预训练模型上再训练,得到最终平均测试准确率为97.16%。相同试验条件下,该研究方法较支持向量机(Support Vector Machine,SVM)和BP(Back Propagation,BP)神经网络以及深度卷积模型(VGG-19和GoogLeNet Inception v2)分类效果更好。试验结果表明,通过迁移学习能把从源领域(PlantVillage数据集)学习到的知识迁移到目标领域(棉花病虫害数据集),数据增强技术能有效缓解过拟合。该研究为农作物病虫害识别技术的发展提供了参考。     

结合光谱降维的IPSO-SVR水体总磷浓度预测模型

[目的] 选择最优模型对水体中总磷浓度进行预测,为准确、实时、高效检测水资源状况提供支持。 [方法] 以2021年在长江中下游武汉—安徽地区采集的水质样本作为研究对象,首先,对采集到的长江光谱数据进行最大最小归一化和均值中心化两种预处理操作以便统一数据的范围和均值点,并使用核主成分分析(KPCA)技术对预处理后的光谱数据进行降维操作。选取方差解释率为99.6%下的6个特征向量进行后续预测模型的训练,接着在原有粒子群算法的基础上引入自适应惯性权重更新公式和遗传—模拟退火变异思想,提高算法的寻优能力。使用改进的粒子群优化算法对支持向量回归模型中的超参数组合进行寻优,对支持向量回归模型使用输出的结果进行预测模型的训练,最后使用测试集数据进行总磷浓度的预测。 [结果] 提出了一种结合光谱降维的改进粒子群优化算法(IPSO)结合支持向量回归(SVR)的水体总磷含量预测模型。通过和当前预测性能较好的几种机器学习模型进行精度的比较发现,该试验模型对长江水体总磷浓度进行预测时决定系数(R²)为0.973 920,均方根差(RMSE)为0.003 012,平均绝对误差(MAE)为0.002 105。 [结论] 使用光谱数据结合降维技术、粒子群优化算法和机器学习模型的算法融合模型检测水体总磷浓度可行性强,精确度高,且拟合效果良好。     

基于改进Faster R-CNN识别深度视频图像哺乳母猪姿态

猪舍场景下,昼夜交替光线变化、热灯光照影响,及仔猪与母猪的粘连等因素,给全天候哺乳母猪姿态自动识别带来很大困难。该文以深度视频图像为数据源,提出基于改进Faster R-CNN的哺乳母猪姿态识别算法。将残差结构引入ZF网络,设计ZF-D2R网络,以提高识别精度并保持实时性;将Center Loss监督信号引入Faster R-CNN训练中,以增强类内特征的内聚性,提升识别精度。对28栏猪的视频图像抽取站立、坐立、俯卧、腹卧和侧卧5类姿态共计7 541张图像作为训练集,另取5类姿态的5 000张图像作为测试集。该文提出的改进模型在测试集上对哺乳母猪的站立、坐立、俯卧、腹卧和侧卧5类姿态的识别平均准确率分别达到96.73%、94.62%、86.28%、89.57%和99.04%,5类姿态的平均准确率均值达到93.25%。在识别精度上,比ZF网络和层数更深的VGG16网络的平均准确率均值分别提高了3.86和1.24个百分点。识别速度为0.058 s/帧,比VGG16网络速度提高了0.034 s。该文方法在提高识别精度的同时保证了实时性,可为全天候母猪行为识别提供技术参考。     

改进AVSlowFast音视频融合模型对哺乳期母猪关键行为的识别

哺乳期母猪的自动行为监测对于保障母猪健康并及时发现异常状态具有重要意义。为了在识别母猪行为中整合视觉和听觉信号蕴含的信息,该研究提出了一种基于音视频特征多模态融合的哺乳期母猪关键行为识别方法。首先,引入三分支结构的AVSlowFast模型作为基础网络,通过视频慢通道、视频快通道、音频通道有效挖掘在视觉和听觉2种模态下的相关行为特征,并基于多层次侧向连接深入融合视听觉模态信息。在此基础上,该研究在特征融合后期引入高斯上下文变换器通道注意力模块,在不新增模型参数的条件下进一步优化高维多模态三维特征的融合效果,提高行为识别的准确率。该研究以哺乳期母猪为对象,采集实际养殖环境中的音频与视频数据进行试验,试验结果表明基于改进AVSlowFast音视频融合模型识别进食、哺乳、睡眠、拱栏、饮水、日常活动6种关键行为的平均精确率与召回率分别为94.3%和94.6%。与基于SlowFast的单模态行为识别方法相比,该研究提出的方法对6种行为识别的平均F1分数上显著提升了12.7%,为实现畜禽多模态行为监测提供了一种有效思路。     

机器视觉识别单只蛋鸡行为的方法

动物行为是一个重要的动物福利评价指标。为了实现对蛋鸡行为的自动监控,该文提出了利用计算机视觉技术对单幅蛋鸡图像进行行为识别的方法,可自动识别单只蛋鸡的运动、饮水、采食、修饰、抖动、休息、拍翅膀、探索、举翅膀的行为,并可长时间追踪蛋鸡的活动情况及运动轨迹。运动、采食和饮水通过追踪蛋鸡的位移和位置直接识别;拍翅膀、修饰、休息、探索、抖动、举翅膀则使用贝叶斯分类法基于10个特征量进行识别,所引入的蛋鸡上下轮廓到最小二乘拟合椭圆长轴距离的相关系数可有效追踪蛋鸡头部,从而提高了修饰和探索的识别率。对9219幅图像进行蛋鸡行为识别的识别率分别为:运动99.4%、饮水80.7%、采食87.3%、修饰81.6%、抖动69.8%、休息86.2%、拍翅膀100%、探索(包括啄食)54.0%、举翅膀64.6%。     

基于光流与熵统计法的花卉生长视频关键帧提取算法

花卉生长过程原始视频数据量大,冗余信息多。为了获得便于研究人员使用的压缩比高、数据量小、包含丰富生长细节信息、流畅自然、花卉生长过程视频,引入了关键帧提取方法对原始视频进行处理。根据花卉生长过程的特点,选择运动检测相关算法进行测试。对传统的帧间差分法进行了仿真分析,并提出了一种新的基于光流法及运动方向信息熵统计的关键帧提取方法。试验证明,该方法明显优于帧间差分法,在提取相同数量关键帧的情况下,能够更完整的表现花卉运动细节。该研究可为花卉生长过程的动态监测提供参考。     

基于卷积神经网络的奶牛个体身份识别方法

视频分析技术已越来越多地应用于检测奶牛行为以给出养殖管理决策,基于图像处理的奶牛个体身份识别方法能够进一步提高奶牛行为视频分析的自动化程度。为实现基于图像处理的无接触、高精确度、适用性强的奶牛养殖场环境下的奶牛个体有效识别,提出用视频分析方法提取奶牛躯干图像,用卷积神经网络准确识别奶牛个体的方法。该方法采集奶牛直线行走时的侧视视频,用帧间差值法计算奶牛粗略轮廓,并对其二值图像进行分段跨度分析,定位奶牛躯干区域,通过二值图像比对跟踪奶牛躯干目标,得到每帧图像中奶牛躯干区域图像。通过理论分析和试验验证,确定了卷积神经网络的结构和参数,并将躯干图像灰度化后经插值运算和归一化变换为48×48大小的矩阵,作为网络的输入进行个体识别。对30头奶牛共采集360段视频,随机选取训练数据60 000帧和测试数据21 730帧。结果表明,在训练次数为10次时,代价函数收敛至0.0060,视频段样本的识别率为93.33%,单帧图像样本的识别率为90.55%。该方法可实现养殖场中奶牛个体无接触精确识别,具有适用性强、成本低的特点。     

基于边界脊线识别的群养猪黏连图像分割方法

猪体图像的前景分割和黏连猪体的分离是实现群养猪数量自动盘点和猪只个体行为智能识别的关键。为实现群养猪黏连图像的自动分割,该文采用决策树分割算法提取视频图像帧的猪体前景区域,计算各连通区域的复杂度,根据复杂度确定黏连猪体区域,利用标记符控制的分水岭分割算法处理黏连猪体图像,检测待选的边界脊线,通过检验待选边界脊线的分割效果和形状特征(包括线性度和Harris拐点数目),识别出猪体黏连分割线,实现黏连猪体的分离。结果表明,决策树分割算法(decision-tree-based segmentation model,DTSM)能够有效地去除复杂背景,前景分割效果良好。黏连猪体分离结果显示,基于边界脊线识别的黏连猪体分离准确率达到了89.4%,并较好地保留了猪体轮廓。通过计算分割后猪体连通区域的中心点,并对中心点进行德洛内剖分,初步实现了猪只的定位和栏内分布的可视化。6 min的监控视频处理结果显示,该文方法各帧图像的盘点平均误差为0.58,盘点准确率为98.33%,能够正确统计出栏内猪只数量。该研究可为实现基于监控视频的群养猪自动盘点和个体行为识别提供新的技术手段。     

基于水下机器视觉的大西洋鲑摄食行为分类

根据鱼群摄食行为状态进行水产养殖精准投喂控制,是有效提高饵料利用率降低水体污染的关键技术。目前,大多数基于机器视觉的鱼类摄食行为研究都是在实验室对真实养殖环境进行模拟并采用水上摄像机获取数据,由于光照条件和养殖环境的影响,该数据无法反映大西洋鲑在实际生产状况下的摄食行为,因此应用范围有限。为解决此问题,该研究提出一种基于真实工厂化养殖环境的鱼类摄食行为分类算法。该算法使用水下观测方式并采用视频序列作为样本,首先利用变分自动编码器对视频序列样本进行逐帧编码以产生所有帧对应的高斯均值和方差向量,分别联立所有均值和方差向量得到均值特征矩阵和方差特征矩阵。然后将特征矩阵输入到卷积神经网络中,实现对鱼群的摄食行为分类。试验结果表明,在真实的工厂化养殖环境下,该研究所提出的方法综合准确率达到了89%,与已有的基于单张图像的鱼类摄食行为分类方法相比,综合准确率提高了14个百分点,召回率提高了15个百分点。研究结果可为基于鱼类摄食行为的鱼饵精准投喂控制提供参考。     

采用机器视觉和傅里叶频谱特征的循环水养殖鱼类摄食状态判别

为精准判别工厂化循环水养殖池中鱼类摄食行为动态,实现精准投喂,该研究提出一种基于傅里叶频谱特征提取并通过支持向量机分类的鱼类摄食行为判断方法。首先,对采集到的工厂化循环水养殖池中鱼群的摄食影像作水花前景提取,并从空域转化至频域;然后,在频域内构建环形滤波器,通过频谱滤波确定特征向量提取范围(更明显表征图像灰度变化剧烈程度的频谱区域),并提取区间内幅值,以此表征鱼类摄食欲望的强弱,从而可以实现鱼类摄食行为的判断。统计每一区间所得幅值样本之和并以此构建特征向量集,并将所得特征向量训练支持向量机。结果表明,该研究所提出的方法在工厂化养殖鱼类摄食行为判断方面具有很好的效果,判断准确率可达99.24%,研究结果能以极高准确率判断鱼类摄食行为,为指导精确投喂提供科学依据。