融合重参数化和注意力机制的猪脸关键点检测方法

面部对齐是猪脸识别中至关重要的步骤,而实现面部对齐的必要前提是对面部关键点的精准检测。生猪易动且面部姿态多变,导致猪脸关键点提取不准确,且目前没有准确快捷的猪脸关键点检测方法。针对上述问题,该研究提出了生猪面部关键点精准检测模型YOLO-MOB-DFC,将人脸关键点检测模型YOLOv5Face进行改进并用于猪脸关键点检测。首先,使用重参数化的MobileOne作为骨干网络降低了模型参数量;然后,融合解耦全连接注意力模块捕捉远距离空间位置像素之间的依赖性,使模型能够更多地关注猪面部区域,提升模型的检测性能;最后,采用轻量级上采样算子CARAFE充分感知邻域内聚合的上下文信息,使关键点提取更加准确。结合自建的猪脸数据集进行模型测试,结果表明,YOLO-MOB-DFC的猪脸检测平均精度达到99.0%,检测速度为153帧/s,关键点的标准化平均误差为2.344%。相比RetinaFace模型,平均精度提升了5.43%,模型参数量降低了78.59%,帧率提升了91.25%,标准化平均误差降低了2.774%;相较于YOLOv5s-Face模型,平均精度提高了2.48%,模型参数量降低了18.29%,标准化平均误差降低了0.567%。该文提出的YOLO-MOB-DFC模型参数量较少,连续帧间的标准化平均误差波动更加稳定,削弱了猪脸姿态多变对关键点检测准确性的影响,同时具有较高的检测精度和检测效率,能够满足猪脸数据准确、快速采集的需求,为高质量猪脸开集识别数据集的构建以及非侵入式生猪身份智能识别奠定基础。     

基于多注意力机制级联LSTM模型的猪脸表情识别

面部表情是传递情感的重要信息,是家畜生理、心理和行为的综合反映,可以用于评估家畜福利.由于家畜面部肌群结构简单,因此家畜面部不同区域的细微变化对于表情的反映较难识别.该研究提出一种基于多注意力机制级联LSTM框架模型(Multi-attention Cascaded Long Short Term Memory,MA-...     

基于多尺度融合注意力机制的群猪检测方法

群猪检测是现代化猪场智慧管理的关键环节。针对群猪计数过程中,小目标或被遮挡的猪只个体易漏检的问题,该研究提出了基于多尺度融合注意力机制的群猪检测方法。首先基于YOLOv7模型构建了群猪目标检测网络YOLOpig,该网络设计了融合注意力机制的小目标尺度检测网络结构,并基于残差思想优化了最大池化卷积模块,实现了对被遮挡与小目标猪只个体的准确检测;其次结合GradCAM算法进行猪只检测信息的特征可视化,验证群猪检测试验特征提取的有效性。最后使用目标跟踪算法StrongSORT实现猪只个体的准确跟踪,为猪只的检测任务提供身份信息。研究以育肥阶段的长白猪为测试对象,基于不同视角采集的视频数据集进行测试,验证了YOLOpig网络结合StongSORT算法的准确性和实时性。试验结果表明,该研究提出的YOLOpig模型精确率、召回率及平均精度分别为90.4%、85.5%和92.4%,相较于基础YOLOv7模型平均精度提高了5.1个百分点,检测速度提升7.14%,比YOLOv5、YOLOv7tiny和YOLOv8n 3种模型的平均精度分别提高了12.1、16.8和5.7个百分点,该文模型可以实现群猪的有...     

融合双线性网络和注意力机制的油橄榄品种识别

为解决自然条件下的油橄榄品种识别问题,该研究以油橄榄品种佛奥、莱星、皮削利和鄂植8号为研究对象,融合双线性网络与注意力机制,提出双线性注意力EfficientNet模型。针对不同品种油橄榄表型差异很小的特点,搭建双线性网络以充分提取油橄榄图像中的特征信息。在此基础上,选用兼顾了速度和精度的EfficientNet-B0网络为特征提取网络。针对自然条件下油橄榄品种识别易受复杂背景干扰的问题,将CBAM（convolutional block attention module,CBAM）注意力与双线性网络结合,使模型在提取油橄榄图像特征时,能够聚焦到对油橄榄品种识别起关键作用的特征上。经测试,所提模型对4个油橄榄品种识别的总体准确率达到90.28%,推理时间为9.15 ms。Grad-CAM（gradient-weighted class activation mapping,Grad-CAM）热力图可视化结果也表明,所提模型在识别油橄榄品种时重点关注了果实以及部分叶子区域。消融试验结果表明,在EfficientNet模型中引入CBAM注意力和搭建双线性网络后,总体准确率分别提高了5.00和10.97个百分点。并且,对比试验结果表明,与双线性ResNet34、EfficientNet-SE注意力、双线性ResNet18、双线性VGG16和双线性GoogLeNet等模型相比,所提模型的总体识别准确率分别高12.78、11.53、11.11、10.70和5.00个百分点。该研究为解决自然条件下的油橄榄品种识别提供了依据,同时也可为其他作物的品种识别提供参考。     

快速精准识别棚内草莓的改进YOLOv4-Tiny模型

为了实现棚内草莓果实的快速精准识别,该研究提出一种基于改进YOLOv4-Tiny的草莓检测模型。首先,为了大幅度减少模型计算量,采用轻量型网络GhostNet作为特征提取网络,并在GhostBottleneck结构中嵌入卷积注意力模块以加强网络的特征提取能力;其次,在颈部网络中添加空间金字塔池化模块和特征金字塔网络结构,融合多尺度特征提升小目标草莓的检测效果;最后,采用高效交并比损失作为边界框回归损失函数,加速网络收敛并提高模型的检测准确率。结果表明,改进YOLOv4-Tiny模型权重大小仅为4.68 MB,平均每幅图片的检测时间为5.63 ms,在测试集上的平均精度均值达到92.62%,相较于原YOLOv4-Tiny模型提升了5.77个百分点。与主流的目标检测模型SSD、CenterNet、YOLOv3、YOLOv4和YOLOv5s相比,改进YOLOv4-Tiny模型平均精度均值分别高出9.11、4.80、2.26、1.22、1.91个百分点,并且模型权重大小和检测速度方面均具有绝对优势,该研究可为后续果实智能化采摘提供技术支撑。     

融合轻量化网络与注意力机制的果园环境下苹果检测方法

为提高复杂果园环境下苹果检测的综合性能,降低检测模型大小,通过对单阶段检测网络YOLOX-Tiny的拓扑结构进行了优化与改进,提出了一种适用于复杂果园环境下轻量化苹果检测模型（Lightweight Apple Detection YOLOX-Tiny Network,Lad-YXNet）。该模型引入高效通道注意力（Efficient Channel Attention,ECA）和混洗注意力（Shuffle Attention,SA）两种轻量化视觉注意力模块,构建了混洗注意力与双卷积层（Shuffle Attention and Double Convolution Layer,SDCLayer）模块,提高了检测模型对背景与果实特征的提取能力,并通过测试确定Swish与带泄露修正线性单元（Leaky Rectified Linear Unit,Leaky-ReLU）作为主干与特征融合网络的激活函数。通过消融试验探究了Mosaic增强方法对模型训练的有效性,结果表明图像长宽随机扭曲对提高模型综合检测性能贡献较高,但图像随机色域变换由于改变训练集中苹果的颜色,使模型检测综合性能下降。为提高模型检测苹果的可解释性,采用特征可视化技术提取了Lad-YXNet模型的主干、特征融合网络和检测网络的主要特征图,探究了Lad-YXNet模型在复杂自然环境下检测苹果的过程。Lad-YXNet经过训练在测试集下的平均精度为94.88%,分别比SSD、YOLOV4-Tiny、YOLOV5-Lite和YOLOX-Tiny模型提高了3.10个百分点、2.02个百分点、2.00个百分点和0.51个百分点。Lad-YXNet检测一幅图像的时间为10.06 ms,模型大小为16.6 MB,分别比YOLOX-Tiny减少了20.03%与18.23%。该研究为苹果收获机器人在复杂果园环境下准确、快速地检测苹果提供了理论基础。     

实时识别行间杂草的机器视觉系统

在实验室环境条件下,开发和测试了识别行间杂草的机器视觉系统。硬件系统主要由速度可控的土壤箱设备、三台实时采集图像的摄像机和计算机组成;软件系统根据植物和背景的颜色特征二值化图像,再根据田间作物的位置特征识别作物和行间杂草。实验表明,采集并处理一幅大小为710×512像素的彩色图像的平均时间为426 ms,系统的正确识别率达到了86%。     

基于机器视觉技术的淡水鱼品种识别

为了后续加工便利,需要对打捞上来的淡水鱼进行分类,而且分类是淡水鱼加工前处理的重要工序之一。为了实现淡水鱼的自动分类,该研究通过收集常见的4种淡水鱼240条为试验样本,分别为鲢鱼、鲫鱼、鳊鱼和鲤鱼。通过运用机器视觉技术采集各种淡水鱼的图像,并运用数字图像处理技术对图像进行处理,提取其各个颜色分量及长短轴之比等特征值,最后运用该特征值建立有关淡水鱼的品种识别模型。研究表明,通过该识别模型可以完全实现对鲢鱼、鲫鱼、鳊鱼和鲤鱼这4种淡水鱼的品种的识别,准确率达到96.67%。机器视觉技术可以快速准确对常见的淡水鱼进行品种识别,具有较强的实际应用价值。     

注意力与多尺度特征融合的水培芥蓝花蕾检测

准确辨识水培芥蓝花蕾特征是区分其成熟度,实现及时采收的关键。该研究针对自然环境下不同品种与成熟度的水培芥蓝花蕾外形与尺度差异大、花蕾颜色与茎叶相近等问题,提出一种注意力与多尺度特征融合的Faster R-CNN水培芥蓝花蕾分类检测模型。采用InceptionV3的前37层作为基础特征提取网络,在其ReductionA、InceptionA和InceptionB模块后分别嵌入SENet模块,将基础特征提取网络的第2组至第4组卷积特征图通过FPN特征金字塔网络层分别进行叠加后作为特征图输出,依据花蕾目标框尺寸统计结果在各FPN特征图上设计不同锚点尺寸。对绿宝芥蓝、香港白花芥蓝及两个品种的混合数据集测试的平均精度均值mAP最高为96.5%,最低为95.9%,表明模型能实现不同品种水培芥蓝高准确率检测。消融试验结果表明,基础特征提取网络引入SENet或FPN模块对不同成熟度花蕾的检测准确率均有提升作用,同时融合SENet模块和FPN模块对未成熟花蕾检测的平均准确率AP为92.3%,对成熟花蕾检测的AP为98.2%,对过成熟花蕾检测的AP为97.9%,不同成熟度花蕾检测的平均准确率均值mAP为96.1%,表明模型设计合理,能充分发挥各模块的优势。相比VGG16、ResNet50、ResNet101和InceptionV3网络,模型对不同成熟度花蕾检测的mAP分别提高了10.8%、8.3%、 6.9%和12.7%,检测性能具有较大提升。在召回率为80%时,模型对不同成熟度水培芥蓝花蕾检测的准确率均能保持在90%以上,具有较高的鲁棒性。该研究结果可为确定水培芥蓝采收期提供依据。     

基于自适应注意力机制的复杂场景下牛脸检测算法

牛面部检测与识别是牛场智能化养殖的关键,但由于牧场养殖环境的复杂性,牛脸检测会受到模糊、逆光和遮挡3种常见环境因素的严重干扰。针对此问题,该研究提出一种复杂场景下基于自适应注意力机制的牛脸检测算法,该算法首先针对3种干扰因素分别设计了评价指标,并将3种不同类型的评价指标通过模糊隶属度函数进行归一化,并确定自适应权重系数,真实反映目标所处场景的复杂性;之后,基于YOLOV7-tiny在主干特征提取网络引入一种新型注意力机制CDAA(composite dual-branch adaptive attention),设计通道和空间注意力并行结构,并融合自适应权重系数,有效加强相应注意力分支的权重,提高网络在复杂场景下的特征提取能力,解决复杂场景下网络检测精度差的问题;最后,将图像场景评价指标引入损失函数,对大尺度网格损失函数的权重进行自适应调整,使网络在训练过程中更专注于数量较多的小型目标,从而提升网络整体的检测精度。为检测算法的有效性和实时性,在特定数据集上进行消融试验,并与多种经典检测算法进行对比,并移植至Jetson Xavier NX平台测试。测试结果表明,该算法检测精度达到89.58%,相较于原YOLOV7-tiny网络,牛脸检测精度提高了7.34个百分点。检测速度达到62帧/s,在检测速度几乎不损失的条件下,检测效果优于原网络与对比网络。 研究结果可为复杂场景下的牛脸高效检测提供参考。     

采用注意力机制与改进YOLOv5的水下珍品检测

海胆、海参、扇贝等水下珍品在渔业中具有重要意义和价值,最近,利用机器人捕捞水下珍品成为发展趋势。为了探测水下珍品的数量及分布情况,使水下机器人获得更加可靠的数据,该研究提出基于注意力机制与改进YOLOv5的水下珍品检测方法。首先,使用K-means匹配新的锚点坐标,增加多个检测尺度提升检测精度;其次,将注意力机制模块融入特征提取网络Darknet-53中获得重要特征;然后,利用Ghost模块的轻量化技术优势,引入由Ghost模块构成的Ghost-BottleNeck代替YOLOv5中的BottleNeck模块,大幅度降低网络模型的参数与计算量;最后,将IOU_nms修改为DIOU_nms以优化损失函数。采用基于实际水下环境建立的数据集,样本数量为781幅图像,按照9∶1的比例随机划分训练与测试集,对改进的网络进行验证。结果表明,该研究算法可获得95.67%平均准确率,相比YOLOv5算法可提升5.49个百分点,试验效果良好,研究结果可以为水下珍品的检测捕捉提供更加准确快捷的方法。     

融入全局相应归一化注意力机制的YOLOv5农作物害虫识别模型

针对YOLOv5(you only look once version five)模型在农作物害虫密集目标上的检测效果无法满足实际需求,以及训练过程中模型收敛速度较慢等问题,该研究提出了融入全局响应归一化(global response normalization,GRN)注意力机制的YOLOv5农作物害虫识别模型(YOLOv5-GRNS)。设计了融入GRN注意力机制的编码器(convolution three,C3)模块,提高对密集目标的识别精度;利用形状交并比(shape intersection over union,SIoU)损失函数提高模型收敛速度和识别精度;在公开数据集IP102(insect pests 102)的基础上,筛选出危害陕西省主要农作物的8种害虫类型,构建了新数据集IP8-CW(insect pests eight for corn and wheat)。改进后的模型在新IP8-CW和完整的IP102两种数据集上进行了全面验证。对于IP8-CW,全类别平均准确率(mean average precision,mAP)mAP@.5和mAP@.5:.95分别达到了72.3%和47.0%。该研究还对YOLOv5-GRNS模型进行了类激活图分析,不仅从识别精度,而且从可解释性的角度,验证了对农作物害虫、尤其是密集目标的优秀识别效果。此外,模型还兼具参数量少、运算量低的优势,具有良好的嵌入式设备应用前景。     

基于注意力机制和多尺度轻量型网络的农作物病害识别

准确识别农作物病害并及时防护是保障农作物产量的重要措施。针对传统农作物病害识别模型体积大、准确率不高的问题,该研究提出一种基于注意力机制和多尺度特征融合的轻量型神经网络模型（Lightweight Multi-scale Attention Convolutional Neural Networks,LMA-CNNs）。首先,为减少参数量,使模型轻量化,网络主体结构采用深度可分离卷积;其次,在深度可分离卷积基础上设计出残差注意力模块和多尺度特征融合模块;同时引入Leaky ReLU激活函数增强负值特征的提取。残差注意力模块通过嵌入通道和空间注意力机制,增强有用特征信息的权重并减弱噪声等干扰信息的权重,残差连接能够有效防止网络退化。多尺度特征融合模块利用其不同尺度的卷积核提取多种尺度的病害特征,提高特征的丰富度。试验结果表明,LMA-CNNs模型在59类公开农作物病害图像测试集上的准确率为88.08%,参数量仅为0.14×107,优于ResNet34、ResNeXt、ShuffleNetV2等经典神经网络模型。通过比较不同研究者在同一数据集下所设计的网络模型,进一步验证LMA-CNNs模型不仅拥有更高的识别精度,还具有更少的参数。该研究提出的LMA-CNNs模型较好地平衡模型复杂程度和识别准确率,为移动端农作物病害检测提供参考。     

用动态图层融合与纹理-灰度梯度能量模型的果树行识别

为解决果园机器视觉导航中果树行识别易受果园复杂环境干扰的问题,该研究提出一种采用动态选取融合因子对彩色图像与深度图像进行图层融合并采用纹理-灰度梯度能量模型进行图像分割的果树行视觉识别算法。首先,通过搭建立体视觉系统获取果园彩色图像与对应的深度图像,并基于饱和度（S）通道图像的灰度值选取动态融合因子,实现对果园彩色图像与深度图像的图层融合;然后,分别计算融合图像的纹理特征图像与灰度梯度特征图像,并建立纹理-灰度梯度结合的能量模型,基于模型能量最小原则进行树干与背景的分割;最后,以树干与地面交点为果树行特征点进果树行直线拟合,完成果树行角度的识别。并对上述算法分别进行果树行识别试验与移动作业平台视觉对行导航试验。果树行识别试验结果表明,该研究算法果树行角度识别平均偏差为2.81°,与基于纹理、灰度梯度特征的果树行识别算法相比识别平均偏差分别降低2.37°和1.25°。移动作业平台视觉导航试验结果表明,在作业平台速度为0.6 m/s时,对行行驶最大偏差为12.2 cm,平均偏差为5.94 cm。该研究提出的视觉导航算法可以满足果园移动作业平台视觉对行导航需求,研究成果将为基于机器视觉的果园自动导航系统的研究与优化奠定基础。     

基于探索性分析的的荔枝果及结果母枝颜色特征分析与识别

从复杂背景中识别成熟荔枝串中的荔枝果及结果母枝,获取结果母枝上的采摘点是机器人视觉定位与识别的难点,荔枝果、结果母枝与叶子各部位图像颜色特征分析与识别成为研究重点。首先针对荔枝果与结果母枝的特点、光照与环境的特殊性及不确定性,提出了探索性分析与荔枝图像识别的融合方法,对荔枝果与结果母枝进行了图像分类与统计的探索性分析,并给出了荔枝图像数据的探索性分析流程图;其次,根据荔枝不同部位颜色均值分布的特点,设计了荔枝果、结果母枝及叶子在6种色彩模型下的颜色均值分布箱线图,通过图形启示的数据分析与探索,给出了基于YCbCr色彩空间的Cr单通道图的荔枝各部位分类识别的视觉模型,分析表明Cr分量值在0.5～0.54能去除叶子和侧枝等复杂背景,实现荔枝串中的荔枝果与结果母枝的分割。最后,以60组不同光照条件的180幅自然环境下采集的荔枝图像为试验测试对象,用颜色特征的视觉模型结合阈值分割方法有效地识别了成熟荔枝串与荔枝果,荔枝串与荔枝果的平均识别率分别为91.67%和95.00%。用探索性分析与图像运算相结合的方法成功地提取了结果母枝(识别率为86.67%),并用计算出的采摘点进行视觉定位的仿真。试验和仿真结果表明视觉模型及其方法能对荔枝不同部位进行有效识别。