基于双金字塔网络的RGB-D群猪图像分割方法

为实现群养猪的视觉追踪和行为监测,针对猪舍中仔猪因拥挤堆叠等习性而导致的目标个体粘连、图像分割困难问题,提出基于双金字塔网络的RGB-D群猪图像分割方法。该方法基于实例分割Mask R-CNN框架,在特征提取网络(Res Net101)基础上改进成双金字塔特征提取网络。RGB图像和Depth图像分别提取特征后进行融合,输入区域生成网络得到预选锚(ROI)和共享特征输入Head网络,通过类别、回归和掩模3个分支,输出检测目标的位置和分类结果,实现猪舍场景下群养仔猪粘连区域的有效个体分割。网络模型训练采用2 000组图像样本,按照4∶1比例随机划分训练集和验证集。试验结果表明,双金字塔网络(Feature pyramid networks,FPN)能有效解决颜色相近、个体相似的群猪粘连问题,实现单个仔猪区域的完整分割,分割准确率达89.25%,训练GPU占有率为77.57%,与Mask R-CNN和Pig Net网络分割结果相比,分割准确率和分割速度均有较大提高。双金字塔网络模型对于多种行为状态、不同粘连程度的群猪图像中个体分割都取得了良好效果,模型泛化性和鲁棒性较好,为群养猪的个体自动追踪提供了新的途径。     

基于深层卷积神经网络的初生仔猪目标实时检测方法

针对初生仔猪目标较小、分娩栏内光线变化复杂、仔猪粘连和硬性遮挡现象较为严重等问题,提出一种基于深层卷积神经网络的初生仔猪目标识别方法。将分类和定位合并为一个任务,以整幅图像为兴趣域,利用特征金字塔网络(Feature pyramid network,FPN)算法定位识别仔猪目标;对比了不同通道数数据集以及不同迭代次数对模型效果的影响;该方法支持图像批量处理、视频与监控录像的实时检测和检测结果多样化储存。实验结果表明:在数据集总量相同时,同时包含夜间单通道和白天3通道的数据集,在迭代20 000次时接近模型最优值。模型在验证集和测试集上的精确率分别为95. 76%和93. 84%,召回率分别为95. 47%和94. 88%,对分辨率为500像素×375像素的图像检测速度为53. 19 f/s,对清晰度为720 P的视频检测速度为22 f/s,可满足实时检测的要求,对全天候多干扰场景表现出良好的泛化能力。     

基于CNN的小麦籽粒完整性图像检测系统

为了快速、准确识别小麦籽粒的完整粒和破损粒,设计了基于卷积神经网络(CNN)的小麦籽粒完整性图像检测系统,并成功应用于实际检测中。采集完整粒和破损粒两类小麦籽粒图像,对图像进行分割、滤波等处理后,建立单粒小麦的图像数据库和形态特征数据库。采用LeNet-5、AlexNet、VGG-16和ResNet-34等4种典型卷积神经网络建立小麦籽粒完整性识别模型,并与SVM和BP神经网络所建模型进行对比。结果表明,SVM和BP神经网络所建模型的验证集识别准确率最高为92. 25%; 4种卷积神经网络模型明显优于两种传统模型,其中,识别性能最佳的AlexNet的测试集识别准确率为98. 02%,识别速率为0. 827 ms/粒。基于AlexNet模型设计了小麦籽粒完整性图像检测系统,检测结果显示,100粒小麦的检测时间为26. 3 s,其中,图像采集过程平均用时21. 2 s,图像处理与识别过程平均用时为5. 1 s,平均识别准确率为96. 67%。     

基于Jetson Nano+YOLO v5的哺乳期仔猪目标检测

针对仔猪个体小、易被遮挡且仔猪目标检测方法不易在嵌入式端部署等问题,提出一种适用于Jetson Nano端部署的哺乳期仔猪目标检测方法,在准确检测哺乳期仔猪目标的同时,使模型实地部署更加灵活。使用哺乳期仔猪图像建立数据集,数据量为14000幅,按8∶1∶1划分训练集、测试集和验证集。利用深度学习网络提取哺乳期仔猪特征,构建仔猪目标检测模型。融合推理网络中的Conv、BN、Activate Function层,合并相同维度张量,删除Concat层,实现网络结构量化,减少模型运行时的算力需求。将优化后模型迁移至Jetson Nano,在嵌入式平台进行测试。实验结果表明,在嵌入式端,量化后YOLO v5中4种模型的单帧图像平均运行时间分别为65、170、315、560ms,检测准确率分别为96.8%、97.0%、97.0%和96.6%,能够在Jetson Nano设备上对哺乳期仔猪目标实现精准检测,为仔猪目标检测的边缘计算模式奠定基础。     

基于机器视觉的水下河蟹识别方法

为了探测河蟹在池塘中的数量及分布情况,为自动投饵船提供可靠的数据反馈,提出了基于机器视觉的水下河蟹识别方法。该方法通过在投饵船下方安装摄像头进行河蟹图像实时采集,针对水下光线衰减大、视野模糊等特点,采用优化的Retinex算法提高图像对比度,增强图像细节,修改基于深度卷积神经网络YOLO V3的输入输出,并采用自建的数据集对其进行训练,实现了对水下河蟹的高精度识别。实验所训练的YOLO V3模型在测试集上的平均精度均值达86. 42%,对水下河蟹识别的准确率为96. 65%,召回率为91. 30%。实验对比了多种目标检测算法,仅有YOLO V3在识别准确率和识别速率上均达到较高水平。在同一硬件平台上YOLO V3的识别速率为10. 67 f/s,优于其他算法,具有较高的实时性和应用价值。     

基于改进YOLO v5s的奶山羊面部识别方法

为准确高效地实现无接触式奶山羊个体识别,以圈养环境下奶山羊面部图像为研究对象,提出一种基于改进YOLO v5s的奶山羊个体识别方法。首先,从网络上随机采集350幅羊脸图像构成羊脸面部检测数据集,使用迁移学习思想预训练YOLO v5s模型,使其能够检测羊脸位置。其次,构建包含31头奶山羊3 844幅不同生长期的面部图像数据集,基于预训练的YOLO v5s,在特征提取层中引入SimAM注意力模块,增强模型的学习能力,并在特征融合层引入CARAFE上采样模块以更好地恢复面部细节,提升模型对奶山羊个体面部的识别精度。实验结果表明,改进YOLO v5s模型平均精度均值为97.41%,比Faster R-CNN、SSD、YOLO v4模型分别提高6.33、8.22、15.95个百分点,比YOLO v5s模型高2.21个百分点,改进模型检测速度为56.00 f/s,模型内存占用量为14.45 MB。本文方法能够准确识别具有相似面部特征的奶山羊个体,为智慧养殖中的家畜个体识别提供了一种方法支持。     

基于迁移学习的卷积神经网络玉米病害图像识别

为实现小数据样本复杂田间背景下的玉米病害图像识别,提出了一种基于迁移学习的卷积神经网络玉米病害图像识别模型。在VGG-16模型的基础上,设计了全新的全连接层模块,并将VGG-16模型在Image Net图像数据集训练好的卷积层迁移到本模型中。将收集到的玉米病害图像数据集按3∶1的比例分为训练集与测试集。为扩充图像数据,对训练集原图进行了旋转、翻转等操作。基于扩充前后的训练集,对只训练模型的全连接层和训练模型的全部层(卷积层+全连接层)两种迁移学习方式进行了试验,结果表明,数据扩充和训练模型的全部层能够提高模型的识别能力。在训练模型全部层和训练集数据扩充的条件下,对玉米健康叶、大斑病叶、锈病叶图像的平均识别准确率为95. 33%。与全新学习相比,迁移学习能够明显提高模型的收敛速度与识别能力。将训练好的模型用Python开发为图形用户界面,可实现田间复杂背景下玉米大斑病与锈病图像的智能识别。     

基于机器视觉的母猪分娩检测方法研究

检测母猪分娩需对分娩限位栏内的仔猪进行目标识别,分析了母猪分娩视频图像特征,提出首先利用半圆匹配算法进行母猪目标分割,排除母猪运动干扰,基于改进的单高斯模型的背景减除法进行运动目标检测,根据运动区域的颜色和面积特征,对仔猪进行目标识别。试验表明:基于半圆匹配算法的母猪目标识别方法能够有效分割出母猪目标,基于改进单高斯模型的运动目标检测方法,对面积较大、运动缓慢的仔猪目标检测较为完整,适用于母猪分娩检测场景。     

融合注意力机制的开集猪脸识别方法

针对闭集猪脸识别模型无法识别训练集中未曾出现的生猪个体的问题,本文设计了一种融合注意力机制的开集猪脸识别方法,可实现开集猪脸图像识别,识别模型从未处理过的生猪个体。首先基于全局注意力机制、倒置残差结构和深度可分离卷积构建了轻量级的特征提取模块(GCDSC);然后基于高效注意力机制、Ghost卷积和残差网络设计C3ECAGhost模块,提取猪脸图像高层语义特征;最后基于MobileFaceNet网络,融合GCDSC模块、C3ECAGhost模块、SphereFace损失函数和欧氏距离度量方法,构建PigFaceNet模型,实现开集猪脸识别。实验结果表明,GCDSC模块可使模型猪脸识别的准确率提高1.05个百分点,C3ECAGhost模块可将模型准确率进一步提高0.56个百分点。PigFaceNet模型在开集猪脸识别验证中的准确率可达94.28%,比改进前提高1.61个百分点,模型占用存储空间仅为5.44 MB,在提高准确率的同时实现了模型轻量化,可为猪场智慧化养殖提供参考方案。     

基于MSRCP与改进YOLO v4的躺卧奶牛个体识别方法

奶牛的躺卧率可以反映奶牛的舒适度和健康情况,躺卧奶牛的个体识别是自动监测奶牛躺卧率的基础。本文提出了一种基于改进YOLO v4模型识别非限制环境下躺卧奶牛个体的方法。为实现对躺卧奶牛全天的准确个体识别,首先对18:00—07:00的图像采用MSRCP（Multi-scale retinex with chromaticity preservation）算法进行图像增强,改善低光照环境下的图像质量。其次,在YOLO v4模型的主干网络中融入RFB-s结构,改善模型对奶牛身体花纹变化的鲁棒性。最后,为提高模型对身体花纹相似奶牛的识别准确率,改进了原模型的非极大抑制（Non-maximum suppression, NMS）算法。利用72头奶牛的图像数据集进行了奶牛个体识别实验。结果表明,相对于YOLO v4模型,在未降低处理速度的前提下,本文改进YOLO v4模型的精准率、召回率、mAP、F1值分别提高4.66、3.07、4.20、3.83个百分点。本文研究结果为奶牛精细化养殖中奶牛健康监测提供了一种有效的技术支持。     

基于优化Faster R-CNN的棉花苗期杂草识别与定位

为解决棉花苗期杂草种类多、分布状态复杂,且与棉花幼苗伴生的杂草识别率低、鲁棒性差等问题,以自然条件下新疆棉田棉花幼苗期的7种常见杂草为研究对象,提出了一种基于优化Faster R-CNN和数据增强的杂草识别与定位方法.采集不同生长背景和天气条件下的杂草图像4694幅,对目标进行标注后,再对其进行数据增强;针对Faste...     

基于MSRCR-YOLOv4-tiny的田间玉米杂草检测模型

为实现田间环境下对玉米苗和杂草的高精度实时检测,本文提出一种融合带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration, MSRCR)增强算法的改进YOLOv4-tiny模型。首先,针对田间环境的图像特点采用MSRCR算法进行图像特征增强预处理,提高图像的对比度和细节质量;然后使用Mosaic在线数据增强方式,丰富目标检测背景,提高训练效率和小目标的检测精度;最后对YOLOv4-tiny模型使用K-means++聚类算法进行先验框聚类分析和通道剪枝处理。改进和简化后的模型总参数量降低了45.3%,模型占用内存减少了45.8%,平均精度均值(Mean average precision, mAP)提高了2.5个百分点,在Jetson Nano嵌入式平台上平均检测帧耗时减少了22.4%。本文提出的Prune-YOLOv4-tiny模型与Faster RCNN、YOLOv3-tiny、YOLOv4 3种常用的目标检测模型进行比较,结果表明：Prune-YOLOv4-tiny的mAP为96.6%,分别比Faster RCNN和YOLOv3...     

基于改进Faster R-CNN的海参目标检测算法

海参目标检测是实现海参自动化捕捞的前提。为了解决复杂海底环境下背景和目标颜色相近以及遮挡导致的目标漏检问题,本文在Faster R-CNN框架下,提出了Swin-RCNN目标检测算法。该算法的骨干网络采用Swin Transformer,同时在结构上融入了多尺度特征提取层和实例分割功能,提高了算法的自适应特征融合能力,从而提高了模型在复杂环境下对不同尺寸海参的识别能力。实验结果表明：本文方法对海参检测的平均精度均值（mAP）达到94.47%,与Faster R-CNN、SSD、YOLO v5、YOLO v4、YOLO v3相比分别提高4.49、4.56、4.46、11.78、22.07个百分点。     

基于改进YOLO v5s的作物黄化曲叶病检测方法

作物病害的初期快速准确识别是减小作物经济损失的重要保障。针对实际生产环境中,作物叶片黄化曲叶病毒病(Yellow leaf curl virus,YLCV)患病初期无法应用传统图像处理算法通过颜色或纹理特征进行准确和快速识别,并且YOLO v5s通用模型在复杂环境下识别效果差和效率低的问题,本文提出一种集成改进的叶片病害检测识别方法。该方法通过对Plant Village公开数据集中单一患病叶片图像以及实际生产中手机拍摄获取的患病作物冠层图像两种来源制作数据集,并对图像中的患病叶片进行手动标注等操作,以实现在复杂地物背景和叶片遮挡等情况下正确识别目标,即在健康叶片、患病叶片、枯萎叶片、杂草和土壤中准确识别出所有的患病叶片。此外,用智能手机在生产现场拍摄图像,会存在手机分辨率、光线、拍摄角度等多种因素,会导致识别正确率降低等问题,需要对采集到的图像进行预处理和数据增强以提高模型识别率,通过对YOLO v5s原始模型骨干网络重复多次增加CA注意力机制模块（Coordinate attention）,增强YOLO算法对关键信息的提取能力,利用加权双向特征金字塔网络（Bidirectional feature pyramid network,BiFPN）,增强模型不同特征层的融合能力,从而提高模型的泛化能力,替换损失函数EIoU（Efficient IoU loss）,进一步优化算法模型,实现多方法叠加优化后系统对目标识别性能的综合提升。在相同试验条件下,对比YOLO v5原模型、YOLO v8、Faster R-CNN、SSD等模型,本方法的精确率P、召回率R、平均识别准确率mAP0.5、mAP0.5:0.95分别达到97.40%、94.20%、97.20%、79.10%,本文所提出的算法在提高了精确率与平均精度的同时,保持了较高的运算速度,满足对作物黄化曲叶病毒病检测的准确性与时效性的要求,并为移动端智能识别作物叶片病害提供了理论基础。     

基于深度学习的林下落果识别方法与试验

监测与识别林下落果的数量和分布信息,是实现落果自动收获和果园智能化管理的重要基础。针对目前落果识别智能化程度较低等问题,提出一种基于深度学习的林下落果识别方法。首先,以不同类型、品种落果图像为基础,通过数据预处理、增强等方法建立林下落果图像数据集。其次,利用YOLO-v3深度卷积神经网络优势特性,建立落果智能识别方法。最后,以柑橘、梨、苹果三种典型落果,对基于深度学习的林下落果识别方法进行测试与验证,分析相关试验结果。试验结果表明:所提出的基于YOLO-v3落果识别方法,在不同条件均能准确识别落果,三种典型落果识别精度大于89%;相对于SSD,RCNN和CenterNet三种网络模型,YOLO-v3的准确率分别提高7%,2%和3.5%;在腐烂落果识别层面,YOLO-v3、SSD、RCNN和CenterNet的识别准确率分别为86%,59%,64%和43%;YOLO-v3的识别准确率高于其他深度学习模型。所提出的方法可以精确的识别林下落果,为后期的落果精准管理提供必要的技术支撑。     

基于改进Faster R-CNN的马铃薯发芽与表面损伤检测方法

发芽与表面损伤检测是鲜食马铃薯商品化的重要环节。针对鲜食马铃薯高通量分级分选过程中,高像素图像目标识别准确率低的问题,提出一种基于改进Faster R-CNN的商品马铃薯发芽与表面损伤检测方法。以Faster R-CNN为基础网络,将Faster R-CNN中的特征提取网络替换为残差网络ResNet50,设计了一种融合ResNet50的特征图金字塔网络（FPN）,增加神经网络深度。采用模型对比试验、消融试验对本文模型与改进策略的有效性进行了试验验证分析,结果表明:改进模型的马铃薯检测平均精确率为98.89%,马铃薯发芽检测平均精确率为97.52%,马铃薯表面损伤检测平均精确率为92.94%,与Faster R-CNN模型相比,改进模型在检测识别时间和内存占用量不增加的前提下,马铃薯检测精确率下降0.04个百分点,马铃薯发芽检测平均精确率提升7.79个百分点,马铃薯表面损伤检测平均精确率提升34.54个百分点。改进后的模型可以实现对在高分辨率工业相机采集高像素图像条件下,商品马铃薯发芽与表面损伤的准确识别,为商品马铃薯快速分级分等工业化生产提供了方法支撑。     

基于改进YOLO v4模型的马铃薯中土块石块检测方法

为实现收获后含杂马铃薯中土块石块的快速检测和剔除,提出了一种基于改进YOLO v4模型的马铃薯中土块石块检测方法。YOLO v4模型以CSPDarknet53为主干特征提取网络,在保证检测准确率的前提下,利用通道剪枝算法对模型进行剪枝处理,以简化模型结构、降低运算量。采用Mosaic数据增强方法扩充图像数据集(8621幅图像),对模型进行微调,实现了马铃薯中土块石块的检测。测试表明,剪枝后模型总参数量减少了94.37%,模型存储空间下降了187.35 MB,前向运算时间缩短了0.02 s,平均精度均值(Mean average precision, mAP)下降了2.1个百分点,说明剪枝处理可提升模型性能。为验证模型的有效性,将本文模型与5种深度学习算法进行比较,结果表明,本文算法mAP为96.42%,比Faster R-CNN、Tiny-YOLO v2、YOLO v3、SSD分别提高了11.2、11.5、5.65、10.78个百分点,比YOLO v4算法降低了0.04个百分点,模型存储空间为20.75 MB,检测速度为78.49 f/s,满足实际生产需要。     

基于YOLO v7-ECA模型的苹果幼果检测

为实现自然环境下苹果幼果的快速准确检测,针对幼果期苹果果色与叶片颜色高度相似、体积微小、分布密集,识别难度大的问题,提出了一种融合高效通道注意力(Efficient channel attention, ECA)机制的改进YOLO v7模型(YOLO v7-ECA)。在模型的3条重参数化路径中插入ECA机制,可在不降低通道维数的前提下实现相邻通道局部跨通道交互,有效强调苹果幼果重要信息、抑制冗余无用特征,提高模型效率。采集自然环境下苹果幼果图像2 557幅作为训练样本、547幅作为验证样本、550幅作为测试样本,输入模型进行训练测试。结果表明,YOLO v7-ECA网络模型准确率为97.2%、召回率为93.6%、平均精度均值(Mean average precision, mAP)为98.2%、F1值为95.37%。与Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7网络模型相比,其mAP分别提高15.5、4.6、1.6、1.8、3.0、1.8个百分点,准确率分别提高49.7、0.9、18.5、1.2、0.9、1.0个百分点,...     

基于YOLOv5的核桃品种识别与定位

为实现对不同品种核桃的分类与定位,提出一种基于深度学习的核桃检测方法。首先,以新疆南疆地区主产的三种核桃为对象进行图像采集,并对图像进行翻转、裁剪、去噪、光照变换等操作制作核桃数据集;然后,采用基于YOLOv5的检测模型进行试验,并与YOLOv3、YOLOv4和Faster RCNN算法进行比较。结果表明,基于YOLOv5的模型对新2、新光和温185核桃检测的平均精度均值分别为99.5%、98.4%和97.1%,单幅图像检测耗时为7 ms。在相同数据集、相同试验环境下,该模型的检测速度是Faster RCNN的7倍,该模型的检测精度比YOLOv4高2.8%且模型大小仅为YOLOv4的1/14。试验结果表明,基于YOLOv5的核桃检测方法在检测精度和速度上是所有对比算法中最高的,适合本研究的检测需求,可为机器人自主分拣核桃提供研究基础。