基于自注意力机制与无锚点的仔猪姿态识别

在猪场养殖过程中,仔猪姿态识别对其健康状况和环境热舒适度监测都有着重要意义。仔猪个体较小,喜欢聚集、扎堆,且姿态随意性较大,给姿态识别带来困难。为此,该文结合Transformer网络与无锚点目标检测头,提出了一种新的仔猪姿态识别模型TransFree（Transformer + Anchor-Free）。该模型使用Swin Transformer作为基础网络,提取仔猪图像的局部和全局特征,然后经过一个特征增强模块（Feature Enhancement Module,FEM）进行多尺度特征融合并得到高分辨率的特征图,最后将融合后的特征图输入Anchor-Free检测头进行仔猪的定位和姿态识别。该文以广东佛山市某商业猪场拍摄的视频作为数据源,从12个猪栏的拍摄视频中选取9栏作为训练集,3栏作为测试集,训练集中仔猪的俯卧、侧卧和站立3类姿态总计19 929个样本,测试集中3类姿态总计5 150个样本。在测试集上,TransFree模型的仔猪姿态识别精度达到95.68%,召回率达到91.18%,F1-score达到93.38%;相较于CenterNet、Faster R-CNN和YOLOX-L目标检测网络,F1-score分别提高了2.32、4.07和2.26个百分点。该文提出的TransFree模型实现了仔猪姿态的高精度识别,为仔猪行为识别提供了技术参考。     

基于改进Faster R-CNN识别深度视频图像哺乳母猪姿态

猪舍场景下,昼夜交替光线变化、热灯光照影响,及仔猪与母猪的粘连等因素,给全天候哺乳母猪姿态自动识别带来很大困难。该文以深度视频图像为数据源,提出基于改进Faster R-CNN的哺乳母猪姿态识别算法。将残差结构引入ZF网络,设计ZF-D2R网络,以提高识别精度并保持实时性;将Center Loss监督信号引入Faster R-CNN训练中,以增强类内特征的内聚性,提升识别精度。对28栏猪的视频图像抽取站立、坐立、俯卧、腹卧和侧卧5类姿态共计7 541张图像作为训练集,另取5类姿态的5 000张图像作为测试集。该文提出的改进模型在测试集上对哺乳母猪的站立、坐立、俯卧、腹卧和侧卧5类姿态的识别平均准确率分别达到96.73%、94.62%、86.28%、89.57%和99.04%,5类姿态的平均准确率均值达到93.25%。在识别精度上,比ZF网络和层数更深的VGG16网络的平均准确率均值分别提高了3.86和1.24个百分点。识别速度为0.058 s/帧,比VGG16网络速度提高了0.034 s。该文方法在提高识别精度的同时保证了实时性,可为全天候母猪行为识别提供技术参考。     

基于隐马尔科夫模型的深度视频哺乳母猪高危动作识别

哺乳母猪的高危动作和仔猪存活率有密切关系,能直接体现其母性行为能力,而这些高危动作又与其姿态转换的频率、持续时间等密切相关。针对猪舍环境下,环境光线变化、母猪与仔猪黏连、猪体形变等给哺乳母猪姿态转换识别带来的困难。该文以梅花母猪为研究对象,以Kinect2.0采集的深度视频图像为数据源,提出基于Faster R-CNN和隐马尔科夫模型的哺乳母猪姿态转换识别算法,通过FasterR-CNN产生候选区域,并采用维特比算法构建定位管道;利用Otsu分割和形态学处理提取疑似转换片段中母猪躯干部、尾部和身体上下两侧的高度序列,由隐马尔科夫模型识别姿态转换。结果表明,对姿态转换片段识别的精度为93.67%、召回率为87.84%。研究结果可为全天候母猪行为自动识别提供技术参考。     

基于面向通道分组卷积网络的番茄主要器官实时识别

番茄器官的实时准确识别是实现自动采摘、靶向施药等自动化生产的关键。该文提出一种基于面向通道分组卷积网络的番茄主要器官实时识别网络模型,该模型直接用特征图预测番茄器官目标边界和类型。以统计可分性、计算速度等为判据,并结合样本扩增训练,分析了该网络和几种典型网络在番茄器官图像处理上的性能,以此筛选出识别网络的基础结构,在基础结构后面分别附加带dropout层的面向通道分组卷积模块和全卷积层作为识别网络的总体架构。试验结果表明:用面向通道分组卷积网络作为识别网络的基础结构,可在显著提高网络召回率、识别速度和精度的前提下,大幅降低模型的大小,该结构网络对花、果、茎识别的平均精度分别为96.52%、97.85%和82.62%,召回率分别为77.39%、69.33%和64.23%,识别速度为62帧/s;与YOLOv2相比,该文识别网络召回率提高了14.03个百分点,精度提高了2.51个百分点。     

基于混合3D-2D CNN的多时相遥感农作物分类

准确的农作物分类图是农业监测和粮食安全评估的重要数据来源,针对传统的深度学习模型在多时相农作物遥感分类方面精度较低的问题,该研究将卷积维度单一的卷积神经网络(Convolutional Neural Networks,CNN)进行改进,提出了一种混合三维和二维卷积的神经网络识别模型(HybridThreeDimensionalandTwoDimensionalConvolutional Neural Networks,3D-2D CNN)。该模型首先通过多个三维卷积层提取时空特征,其次将输出的特征降维压缩后通过二维卷积层执行空域特征分析,最后将高层特征图展平后通过全连接层进行类别预测。试验以Landsat8多时相影像为数据源,将美国加利福尼亚州北部研究区的地块按照2:2:6分层随机划分为训练集、验证集和测试集。试验结果表明3D-2DCNN对13种农作物分类的总体精度(89.38%)、宏平均F1值(84.21%)和Kappa系数(0.881)均优于三维卷积神经网络(Three Dimensional Convolutional Neural Networks,3D-CNN)、二维卷积神经网络(Two Dimensional Convolutional Neural Networks,2D-CNN)、支持向量机(Support Vector Machines,SVM)和随机森林(Random Forest,RF)等方法,并在参数量和收敛时间方面比3D CNN大幅度减小。同时,在较小样本训练集下3D-2D CNN仍表现最优。该模型综合利用空间-光谱-时间特征并具有较高的分类精度和较强的鲁棒性,这为解决多时相遥感农作物分类问题提供了一个有效且可行的方案。     

基于MFO-LSTM的母猪发情行为识别

及时准确识别母猪的发情行为可以有效增加受胎率和产仔量,对提高养殖企业的繁育水平和经济效益具有重要意义。该研究针对生猪养殖过程中母猪发情行为识别存在主观性强、智能化水平低、假警报和错误率高、识别不及时等问题,提出了一种基于飞蛾扑火算法(Moth-Flame Optimization,MFO)优化长短时记忆网络(Long Short Term Memory,LSTM)的母猪发情行为识别方法。利用安装在母猪颈部的姿态传感器获得母猪姿态数据,然后使用姿态数据训练MFO-LSTM姿态分类模型,将母猪姿态分为立姿、卧姿和爬跨3类。通过对姿态分类结果进行分析,确定以爬跨行为和活动量2个特征作为发情行为识别依据,使用MFO-LSTM分类算法判断母猪是否发情。以山西省太原市杏花岭区五丰养殖场的试验数据对该方法进行验证,结果表明,该方法在以30 min为发情行为识别时间时的识别效果最好,发情行为识别的错误率为13.43%,召回率为90.63%,特效性为81.63%,与已有的母猪发情行为识别方法相比错误率降低了80%以上。该方法在保证识别准确率的情况下有效降低了错误率,可满足母猪养殖生产过程中发情行为自动识别要求。     

基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别

疏果前期苹果背景复杂、光照条件变化、重叠及被遮挡,特别是果实与背景叶片颜色极为相近等因素,给其目标识别带来很大困难。为识别疏果前期的苹果目标,提出基于区域的全卷积网络(region-based fully convolutional network,R-FCN)的苹果目标识别方法。该方法在研究基于ResNet-50和ResNet-101的R-FCN结构及识别结果的基础上,改进设计了基于ResNet-44的R-FCN,以提高识别精度并简化网络。该网络主要由ResNet-44全卷积网络、区域生成网络(RegionProposal Network, RPN)及感兴趣区域(Region of Interest, RoI)子网构成。ResNet-44全卷积网络为基础网络,用以提取图像的特征,RPN根据提取的特征生成Ro I,然后Ro I子网根据ResNet-44提取的特征及RPN输出的Ro I进行苹果目标的识别与定位。对采集的图像扩容后,随机选取23 591幅图像作为训练集,4 739幅图像作为验证集,对网络进行训练及参数优化。该文提出的改进模型在332幅图像组成的测试集上的试验结果表明,该方法可有效地识别出重叠、被枝叶遮挡、模糊及表面有阴影的苹果目标,识别的召回率为85.7%,识别的准确率为95.1%,误识率为4.9%,平均速度为0.187 s/幅。通过与其他3种方法进行对比试验,该文方法比FasterR-CNN、基于ResNet-50和ResNet-101的R-FCN的F1值分别提高16.4、0.7和0.7个百分点,识别速度比基于ResNet-50和ResNet-101的R-FCN分别提高了0.010和0.041 s。该方法可实现传统方法难以实现的疏果前苹果目标的识别,也可广泛应用于其他与背景颜色相近的小目标识别中。     

改进YOLOv3网络提高甘蔗茎节实时动态识别效率

为推广甘蔗预切种良种、良法种植技术,结合甘蔗预切种智能横向切种机的开发,实现甘蔗切种装置对蔗种特征的连续、动态智能识别。该文通过甘蔗切种机黑箱部分内置的摄像机连续、动态采集整根甘蔗表面数据,采用改进的YOLOv3网络,建立智能识别卷积神经网络模型,通过拍摄装置内部的摄像头对输入识别系统的整根甘蔗的茎节图像特征进行实时定位与识别,并比对识别信息,及时更新茎节数据,识别、标记出茎节位置,再经过数据处理得到实时的茎节信息,输送到多刀数控切割台进行实时切割。经过训练及试验测试,结果表明:经过训练及试验测试,模型对茎节的识别的准确率为96.89%,召回率为90.64%,识别平均精度为90.38%,平均识别时间为28.7 ms,与原始网络相比平均精确度提升2.26个百分点,准确率降低0.61个百分点,召回率提高2.33个百分点,识别时间缩短22.8 ms,实现了甘蔗蔗种的连续、实时动态识别,为甘蔗预切种智能横向切种机的开发提供数据基础。     

改进AVSlowFast音视频融合模型对哺乳期母猪关键行为的识别

哺乳期母猪的自动行为监测对于保障母猪健康并及时发现异常状态具有重要意义。为了在识别母猪行为中整合视觉和听觉信号蕴含的信息,该研究提出了一种基于音视频特征多模态融合的哺乳期母猪关键行为识别方法。首先,引入三分支结构的AVSlowFast模型作为基础网络,通过视频慢通道、视频快通道、音频通道有效挖掘在视觉和听觉2种模态下的相关行为特征,并基于多层次侧向连接深入融合视听觉模态信息。在此基础上,该研究在特征融合后期引入高斯上下文变换器通道注意力模块,在不新增模型参数的条件下进一步优化高维多模态三维特征的融合效果,提高行为识别的准确率。该研究以哺乳期母猪为对象,采集实际养殖环境中的音频与视频数据进行试验,试验结果表明基于改进AVSlowFast音视频融合模型识别进食、哺乳、睡眠、拱栏、饮水、日常活动6种关键行为的平均精确率与召回率分别为94.3%和94.6%。与基于SlowFast的单模态行为识别方法相比,该研究提出的方法对6种行为识别的平均F1分数上显著提升了12.7%,为实现畜禽多模态行为监测提供了一种有效思路。     

基于Transformer的强泛化苹果叶片病害识别模型

模型泛化能力是病害识别模型多场景应用的关键,该研究针对不同环境下的苹果叶片病害数据,提出一种可以提取多类型特征的强泛化苹果叶片病害识别模型CaTNet。该模型采用双分支结构,首先设计了一种卷积神经网络分支,负责提取苹果叶片图像的局部特征,其次构建了具有挤压和扩充功能的视觉Transformer分支,该分支能够提取苹果叶片图像的全局特征,最后将两种特征进行融合,使Transformer分支可以学习局部特征,使卷积神经网络分支学习全局特征。与多种卷积神经网络模型和Transformer模型相比,该模型具有更好的泛化能力,仅需学习实验室环境叶片数据,即可在自然环境数据下达到80%的识别精度,相较卷积神经网络EfficientNetV2提升7.21个百分点,相较Transformer网络PVT提升26.63个百分点,能够有效提升对不同环境数据的识别精度,解决了深度学习模型训练成本高,泛化能力弱的问题。     

基于实例分割的柑橘花朵识别及花量统计

柑橘隔年结果现象严重,花量统计有助于果园的规划管理,并对产量预测有重要意义,但是柑橘单一植株花量巨大,花朵紧凑密集,花期树叶遮挡覆盖,对花量计算造成很大的阻碍。对此该研究提出基于实例分割的柑橘花朵识别与花量统计方法,以花期的柑橘树冠图像为样本进行花朵实例的识别及分割,通过对Mask R-CNN主体卷积部分和掩膜分支部分的优化,实现对复杂结构图像中密集小尺度柑橘花朵目标的高效检测、获取图像中可见花数量。结果显示,该方法花量识别神经网络的平均精度为36.3,花量计算误差为11.9%,对比未优化Mask R-CNN网络在训练和识别的时间效率上均有显著提升。该研究解决了柑橘花量统计难度高的问题,有助于柑橘早期测产和落花监测,并为花量控制提供决策依据。     

基于胚部区域特征的麦粒姿态自动识别

麦粒姿态的自动判别,是近红外高光谱成像系统自动检测多姿态麦粒内部虫害的前提。依据麦粒目标在最优波长图像中的坐标、重心等信息,从高光谱数据立方体中自动分割出单个完整麦粒的子图像。利用麦粒胚部端粗糙度较大的原理,依据纹理、不变矩、均值等13个可能胚部区域特征的判别正确率,确定不变矩4为判别麦粒胚部区域的有效特征。针对麦粒胚部区域,提取梯度图像和二值图像的26个特征,利用人工鱼群算法选择出延伸率、胚部区域对称度、延伸率等13个特征。选取1 200个样本进行训练,600个样本进行检验,利用最大离差法自动确定13个特征的模糊权重,麦粒3个姿态可拓分类的正确识别率为94.5%,证实了基于局部区域特征的麦粒姿态自动识别的可行性。     

基于姿态与时序特征的猪只行为识别方法

生猪行为监测是生猪养殖管理过程中的一个重要环节。该研究提出了基于姿态与时序特征的猪只行为识别方法。首先采集和标注猪栏内猪只图像，分别构建了猪只目标检测数据集、猪只关键点数据集和猪只行为识别数据集；利用构建的数据集，分别训练了基于YOLOv5s的猪只检测模型、基于轻量化OpenPose算法的猪只姿态估计模型和基于ST-GCN算法的猪只行为识别模型，并搭建了猪只行为识别系统。经测试，文中训练的YOLOv5s猪只检测模型mAP（mean Average Precision）最高达到0.995，姿态估计模型平均精度和平均召回率达到93%以上，基于ST-GCN的猪只行为识别模型的平均准确率为86.67%。文中构建的猪只行为识别系统中基于LibTorch推理猪只检测模型和猪只姿态估计模型的单帧推理耗时分别约为14和65 ms，单只猪行为识别推理耗时约为8 ms，每提取200帧连续姿态进行一次行为识别推理，平均17 s更新一次行为识别结果。证明提出的基于姿态与时序特征的猪只行为识别方法具有一定可行性，为群养猪场景下的猪只行为识别提供了思路。     

基于改进Cascade Mask R-CNN与协同注意力机制的群猪姿态识别

猪体姿态识别有助于实现猪只健康状况预警、预防猪病爆发,是当前研究热点。针对复杂场景下群猪容易相互遮挡、粘连,姿态识别困难的问题,该研究提出一种实例分割与协同注意力机制相结合的两阶段群猪姿态识别方法。首先,以Cascade Mask R-CNN作为基准网络,结合HrNetV2和FPN模块构建猪体检测与分割模型,解决猪体相互遮挡、粘连等问题,实现复杂环境下群猪图像的高精度检测与分割;在上述提取单只猪基础上,构建了基于协同注意力机制(coordinate attention,CA)的轻量级猪体姿态识别模型(CA-MobileNetV3),实现猪体姿态的精准快速识别。最后,在自标注数据集上的试验结果表明,在猪体分割与检测环节,该研究所提模型与MaskR-CNN、MSR-CNN模型相比,在AP_0.50、AP_0.75、AP_0.50:0.95和AP_{0.5:0.95-large}指标上最多提升了1.3、1.5、6.9和8.8个百分点,表现出最优的分割与检测性能。而在猪体姿态识别环节,所提CA-MobileNetV3模...     

基于"残差-挤压激励"深度混合卷积网络的土地利用分类

土地利用变化的监测需要高精度的土地利用分类图，遥感技术的发展为这一工作提供了便利。然而，传统分类方法往往无法针对性的利用影像中的信息，其分类结果中地物边缘信息模糊，分类精度不高且噪声较大，难以满足土地变化监测的需要。该研究针对传统方法分类结果不理想的问题，提出一种基于"残差-挤压激励"单元的混合卷积神经网络模型，采用膨胀卷积层对影像进行"光谱-空间"特征提取，并引入"残差-挤压激励"单元，实现特征重用的同时，选择性的强调信息性特征，对噪声性特征进行抑制，最后对得到的特征进行整合实现对遥感影像的分类。该研究提出的模型与k-最邻近算法（K-Nearest Neighbor, KNN）、支持向量机（Support Vector Machine, SVM）、二维卷积网络（2D- Convolutional Neural Network, 2D-CNN）以及混合卷积网络（HybridSN）相比，在试验数据集上总体精度分别提高了11.15个百分点、11.18个百分点、0.06个百分点和2.46个百分点。且有效减少了地物边缘信息的损失，验证了该方法的有效性。此外，基于该方法分类结果统计出的耕地面积与试验区真实耕地面积仅相差0.77%，误差绝对值远低于其他分类方法。