融合FPN的Faster R-CNN复杂背景下棉田杂草高效识别方法

为实现田间条件下快速、准确识别棉花与杂草,该文以自然光照下田间棉花与杂草为研究对象,采用垂直向下拍摄的方式获取棉花杂草视频,按1帧/s的速率从视频中提取图像,在人工去除冗余度过多的图片后,建立1 000幅图片的数据集。对比了Faster R-CNN和YOLOv3 2种典型卷积神经网络,将Faster R-CNN卷积神经网络的深度学习模型引入到棉花杂草图像识别中,并提出一种结构优化的方法,使之适用于复杂背景下的棉田杂草识别。该文选用残差卷积网络提取图像特征,Max-pooling 为下采样方法,RPN网络中引入特征金字塔网络生成目标候选框,对卷积神经网络结构进行优化。在使用700幅图片进行训练后,通过200 幅田间棉花杂草图像识别测试,结果表明：该方法的平均目标识别准确率达95.5%,识别单幅图像的平均耗时为1.51 s,采用GPU 硬件加速后识别单幅图像的平均耗时缩短为0.09 s。优化后的Faster R-CNN卷积神经网络相对于YOLOv3平均正确率MAP高0.3以上。特别是对于小目标对象,其平均正确率之差接近0.6。所提方法对复杂背景下棉花杂草有较好的检测效果,可为精确除草提供参考。     

群养猪侵略性行为的深度学习识别方法

为了解决因传统机器视觉和图像处理方法的局限性以及复杂的猪体姿态和猪舍环境导致对群养猪侵略性行为识别的有效性、准确率较低的问题,该文基于深度学习的方法,提出使用3DCONV的群养猪侵略性行为识别算法-3DConvNet。分3个批次采集18头9.6 kg左右的大白仔猪视频图像,选用第一批次中包含28 d内各个时段的撕咬、撞击、追逐、踩踏4大类,咬耳、咬尾、咬身、头撞头、头撞身、追逐以及踩踏7小类侵略性行为以及吃食、饮水、休息等非侵略性行为共计740段(27114帧)视频作为训练集和验证集,训练集和验证集比例为3:1。结果表明,3DConvNet网络模型在训练集上的识别准确度达96.78%,在验证集上识别准确度达95.70%。该文算法模型对于不同训练集批次的猪只以及不良照明条件下依然能准确识别侵略性行为,算法模型泛化性能良好。与C3D模型进行对比,该文提出的网络模型准确率高出43.47个百分点,单帧图像处理时间为0.50 s,可满足实时检测的要求。研究结果可为猪场养殖环境中针对猪只侵略性行为检测提供参考。     

改进Faster R-CNN的田间苦瓜叶部病害检测

为实现在自然环境条件下对苦瓜叶部病害的目标检测,该研究提出了一种基于改进的更快速区域卷积神经网络（Faster Region with Convolutional Neural Network Features,Faster R-CNN）的苦瓜叶部病害目标检测方法。Faster R-CNN以残差结构卷积神经网络ResNet-50作为该次试验的特征提取网络,将其所得特征图输入到区域建议网络提取区域建议框,并且结合苦瓜叶部病害尺寸小的特点,对原始的Faster R-CNN进行修改,增加区域建议框的尺寸个数,并在ResNet-50的基础下融入了特征金字塔网络（Feature Pyramid Networks,FPN）。结果表明,该方法训练所得的深度学习网络模型具有良好的鲁棒性,平均精度均值（Mean Average Precision,MAP）值为78.85%;融入特征金字塔网络后,所得模型的平均精度均值为86.39%,提高了7.54%,苦瓜健康叶片、白粉病、灰斑病、蔓枯病、斑点病的平均精确率（Average Precision,AP）分别为89.24%、81.48%、83.31%、88.62%和89.28%,在灰斑病检测精度上比之前可提高了16.56%,每幅图像的检测时间达0.322 s,保证检测的实时性。该方法对复杂的自然环境下的苦瓜叶部病害检测具有较好的鲁棒性和较高的精度,对瓜果类疾病预防有重要的研究意义。     

改进帧间差分-深度学习识别群养猪只典型行为

群养猪行为是评估猪群对环境适应性的重要指标。猪场环境中,猪只行为识别易受不同光线和猪只粘连等因素影响,为提高群养猪只行为识别精度与效率,该研究提出一种基于改进帧间差分-深度学习的群养猪只饮食、躺卧、站立和打斗等典型行为识别方法。该研究以18只50～115日龄长白猪为研究对象,采集视频帧1 117张,经图像增强共得到4 468张图像作为数据集。首先,选取Faster R-CNN、SSD、Retinanet、Detection Transformer和YOLOv5五种典型深度学习模型进行姿态检测研究,通过对比分析,确定了最优姿态检测模型;然后,对传统帧间差分法进行了改进,改进后帧间差分法能有效提取猪只完整的活动像素特征,使检测结果接近实际运动猪只目标;最后,引入打斗活动比例（Proportion of Fighting Activities, PFA）和打斗行为比例（Proportion of Fighting Behavior, PFB）2个指标优化猪只打斗行为识别模型,并对模型进行评价,确定最优行为模型。经测试,YOLOv5对群养猪只典型姿态检测平均精度均值达93.80%,模型大小为1...     

基于改进Faster R-CNN识别深度视频图像哺乳母猪姿态

猪舍场景下,昼夜交替光线变化、热灯光照影响,及仔猪与母猪的粘连等因素,给全天候哺乳母猪姿态自动识别带来很大困难。该文以深度视频图像为数据源,提出基于改进Faster R-CNN的哺乳母猪姿态识别算法。将残差结构引入ZF网络,设计ZF-D2R网络,以提高识别精度并保持实时性;将Center Loss监督信号引入Faster R-CNN训练中,以增强类内特征的内聚性,提升识别精度。对28栏猪的视频图像抽取站立、坐立、俯卧、腹卧和侧卧5类姿态共计7 541张图像作为训练集,另取5类姿态的5 000张图像作为测试集。该文提出的改进模型在测试集上对哺乳母猪的站立、坐立、俯卧、腹卧和侧卧5类姿态的识别平均准确率分别达到96.73%、94.62%、86.28%、89.57%和99.04%,5类姿态的平均准确率均值达到93.25%。在识别精度上,比ZF网络和层数更深的VGG16网络的平均准确率均值分别提高了3.86和1.24个百分点。识别速度为0.058 s/帧,比VGG16网络速度提高了0.034 s。该文方法在提高识别精度的同时保证了实时性,可为全天候母猪行为识别提供技术参考。     

基于改进Cascade Mask R-CNN与协同注意力机制的群猪姿态识别

猪体姿态识别有助于实现猪只健康状况预警、预防猪病爆发,是当前研究热点。针对复杂场景下群猪容易相互遮挡、粘连,姿态识别困难的问题,该研究提出一种实例分割与协同注意力机制相结合的两阶段群猪姿态识别方法。首先,以Cascade Mask R-CNN作为基准网络,结合HrNetV2和FPN模块构建猪体检测与分割模型,解决猪体相互遮挡、粘连等问题,实现复杂环境下群猪图像的高精度检测与分割;在上述提取单只猪基础上,构建了基于协同注意力机制（coordinate attention,CA）的轻量级猪体姿态识别模型（CA?MobileNetV3）,实现猪体姿态的精准快速识别。最后,在自标注数据集上的试验结果表明,在猪体分割与检测环节,该研究所提模型与Mask R-CNN、MS R-CNN模型相比,在AP0.50、AP0.75、AP0.50:0.95和AP0.5:0.95-large 指标上最多提升了1.3、1.5、6.9和8.8个百分点,表现出最优的分割与检测性能。而在猪体姿态识别环节,所提CA?MobileNetV3模型在跪立、站立、躺卧、坐立4种姿态类上的准确率分别为96.5%、99.3%、98.5%和98.7%,其性能优于主流的MobileNetV3、ResNet50、DenseNet121和VGG16模型,由此可知,该研究模型在复杂环境下群猪姿态识别具有良好的准确性和有效性,为实现猪体姿态的精准快速识别提供方法支撑。     

饲料原料种类在线识别系统设计与试验

入仓原料种类识别是饲料生产过程中的关键环节之一。目前,入仓原料主要通过人工取样的方式,依靠工人感官经验识别原料种类,以确保原料正确入仓。为了实现饲料原料种类在线自动取样和识别,提高饲料加工的自动化水平,该研究设计了一种多通道饲料原料自动取样装置,应用机器视觉技术,搭建了原料种类在线识别系统。该系统主要由取样单元、样品输送单元、图像采集单元等组成;采用Arduino Uno为系统控制核心,设计了控制流程和控制线路;在Arduino IDE开发环境下编写了控制程序;运用卷积神经网络的方法构建了饲料原料种类识别模型CAM-ResNet18;基于PyQt5环境开发了饲料原料种类在线识别系统软件,包括上位机人机交互软件系统和下位机自控控制系统。上位机系统软件通过串口与下位机控制器通讯,实现对饲料原料种类在线取样识别装置的自动控制。通过模型嵌入和系统集成,对系统的基本功能、识别准确率和识别时间进行测试。饲料原料种类在线识别系统运行正常可靠,实现了饲料原料入仓过程中的自动取样、图像采集、种类识别、结果反馈、一键报警的全环节智能操作。系统性能测试中,饲料原料种类识别准确率为98%,取样识别周期为10.13 s。研究结果表明开发的饲料原料种类在线识别系统可以实现入仓饲料原料在线取样和种类识别功能,为饲料加工中饲料原料种类的自动识别提供了新的方法和技术支撑。     

改进Faster-RCNN自然环境下识别刺梨果实

为了实现自然环境下刺梨果实的快速准确识别,根据刺梨果实的特点,该文提出了一种基于改进的Faster RCNN刺梨果实识别方法。该文卷积神经网络采用双线性插值方法,选用FasterRCNN的交替优化训练方式(alternating optimization),将卷积神经网络中的感兴趣区域池化(ROI pooling)改进为感兴趣区域校准(ROI align)的区域特征聚集方式,使得检测结果中的目标矩形框更加精确。通过比较Faster RCNN框架下的VGG16、VGG_CNN_M1024以及ZF 3种网络模型训练的精度-召回率,最终选择VGG16网络模型,该网络模型对11类刺梨果实的识别精度分别为94.00%、90.85%、83.74%、98.55%、96.42%、98.43%、89.18%、90.61%、100.00%、88.47%和90.91%,平均识别精度为92.01%。通过对300幅自然环境下随机拍摄的未参与识别模型训练的刺梨果实图像进行检测,并选择以召回率、准确率以及F1值作为识别模型性能评价的3个指标。检测结果表明:改进算法训练出来的识别模型对刺梨果实的11种形态的召回率最低为81.40%,最高达96.93%;准确率最低为85.63%,最高达95.53%;F1值最低为87.50%,最高达94.99%。检测的平均速度能够达到0.2 s/幅。该文算法对自然条件下刺梨果实的识别具有较高的正确率和实时性。     

基于Isomap和支持向量机算法的俯视群养猪个体识别

针对俯视群养猪视频序列,提出了一种利用机器视觉技术对猪个体进行识别的方法。首先对采集的俯视群养猪视频序列进行前景检测与目标提取,获得各单只猪个体,其后建立训练样本,提取猪个体颜色、纹理及形状特征,组合构建表征猪个体的特征向量,接着对组合特征利用Isomap算法做特征融合,在最大程度保留有效识别信息的基础上降低特征维数,最后利用优化核函数的支持向量机分类器进行训练与识别。试验选取了900帧图像,试验结果表明该文所提方法切实有效,猪个体最高识别率为92.88%。该文从机器视觉角度探索了俯视群养猪的个体识别,有别于传统的RFID猪个体识别,该研究为无应激的猪个体识别提供了新思路,也为进一步探索群养猪个体行为分析等奠定了基础。     

基于改进空洞卷积神经网络的丘陵山区田间道路场景识别

基于机器视觉的自主导航是智能农业机械的主要导航方式之一。丘陵山区复杂的田间道路场景,使得智能农机在田间道路上的自主导航与避障存在较大的困难。该文根据丘陵山区田间道路图像特征,将田间道路场景对象分为背景、道路、行人、植被、天空、建筑、牲畜、障碍、水塘、土壤和杆等11类,构建了基于空洞卷积神经网络的田间道路场景图像语义分割模型。该模型包括前端模块和上下文模块,前端模块为VGG-16融合空洞卷积的改进结构,上下文模块为不同膨胀系数空洞卷积层的级联,采用两阶段训练方法进行训练。利用CAFFE深度学习框架将改进的网络模型与经典的FCN-8s网络模型进行了对比测试,并进行了道路阴影的适应性测试。语义分割测试结果表明:Front-end+Large网络的统计像素准确率、类别平均准确率以及平均区域重合度都最高,而FCN-8s网络最低;Front-end+Large网络在无阴影道路训练集和有阴影道路训练集上的平均区域重合度分别为73.4%和73.2%,对阴影干扰有良好的适应性。该文实现了丘陵山区田间道路场景像素级的预测,能为智能农业机械在田间道路上基于机器视觉的自主导航和避障奠定基础。     

基于CSS-Cascade Mask R-CNN的有遮挡多片烟叶部位识别

烟叶的部位信息是进行烟叶分级的重要参考信息,准确识别烟叶部位对实现烟叶智能分级具有重要意义。在实际的烟叶智能分级应用中,为了提高分级效率,需要对多片烟叶等级进行同步识别。受现行上料方式的限制,同步识别的多片烟叶间往往存在局部遮挡的问题,给烟叶的目标检测和部位识别带来挑战。该研究提出一种基于改进Cascade Mask R-CNN,融合通道、非局部和空间注意力机制（channel-nonlocal-space attation）,并引入柔性极大值抑制检测框交并操作（soft non-max-suppression）与斯库拉交并比损失函数（SIoU）的目标检测与识别模型（CSS-Cascade Mask R-CNN）。该模型对Cascade Mask R-CNN进行了三方面的改进：一是在其骨干网络Resent101上同时引入通道、非局部、空间3种注意力机制,使网络更加关注未被遮挡且部位特征明显区域的显著度;二是将Cascade Mask R-CNN中的损失函数SmoothL1Loss替换为SIoU损失函数,将预测框与真实框之间的方向差异引入到模型训练中提高模型检测精度;三是在筛选候选框时将常规的非极大抑制（non-max-suppression）替换为柔性非极大抑制,以避免删除候选框造成信息丢失。试验结果表明,利用提出的模型对有遮挡多片烟叶进行检测和部位识别,检测框平均准确率均值（bbox_mAP50）达到了80.2%,与改进前的Cascade Mask R-CNN模型相比提高了7.5个百分点。提出的模型与多个主流的目标检测模型（YOLO VX、YOLO V3、YOLO V5、Mask R-CNN、Cascade R-CNN）相比,也分别高出7.1、10.2、5.8、9.2、8.4个百分点,尤其是对较难区分的下部烟叶优势明显,因此研究结果可以为有遮挡多片烟叶部位的检测识别提供参考。     

基于改进Multi-Scale AlexNet的番茄叶部病害图像识别

番茄同种病害在不同发病阶段表征差异明显,不同病害又表现出一定的相似性,传统模式识别方法不能体现病害病理表征的动态变化,实用性较差。针对该问题,基于卷积神经网络提出一种适用于移动平台的多尺度识别模型,并基于此模型开发了面向农业生产人员的番茄叶部病害图像识别系统。该文详细描述了AlexNet的结构,分析其不足,结合番茄病害叶片图像特点,去除局部响应归一化层、修改全连接层、设置不同尺度卷积核提取特征,设计了基于AlexNet的多感受野识别模型,并基于Android实现了使用此模型的番茄叶部病害图像识别系统。Multi-ScaleAlexNet模型运行所耗内存为29.9MB,比原始AlexNet的内存需求652MB降低了95.4%,该模型对番茄叶部病害及每种病害早中晚期的平均识别准确率达到92.7%,基于此模型的Andriod端识别系统在田间的识别率达到89.2%,能够满足生产实践中移动平台下的病害图像识别需求。研究结果可为基于卷积神经网络的作物病害图像识别提供参考,为作物病害的自动化识别和工程化应用参考。     

反卷积引导的番茄叶部病害识别及病斑分割模型

针对当前植物叶部病害识别模型易受阴影、遮挡物及光线强度干扰,特征提取具有盲目和不确定性的问题,该研究构建一种基于反卷积引导的VGG网络（Deconvolution-Guided VGGNet,DGVGGNet）模型,同时实现植物叶部病害种类识别与病斑分割。首先使用VGGNet计算多分类交叉熵损失进行病害分类训练,得到病害分类结果;其次设计反向全连接层,将分类结果恢复为特征图形式;然后采用上采样与卷积操作相结合的方法实现反卷积,利用跳跃连接融合多种特征恢复图像细节;最后使用少量病斑监督,对每个像素点使用二分类交叉熵损失进行训练,引导编码器关注真实的病斑部位。试验结果表明,该研究模型的病害种类识别精度达99.19%,病斑分割的像素准确率和平均交并比分别达94.66%和75.36%,在遮挡、弱光等环境下具有良好的鲁棒性。     

基于改进卷积神经网络的多种植物叶片病害识别

针对训练收敛时间长,模型参数庞大的问题,该文将传统的卷积神经网络模型进行改进,提出一种批归一化与全局池化相结合的卷积神经网络识别模型.通过对卷积层的输入数据进行批归一化处理,以便加速网络收敛.进一步缩减特征图数目,并采用全局池化的方法减少特征数.通过设置不同尺寸的初始层卷积核和全局池化层类型,以及设置不同初始化类型和激活函数,得到8种改进模型,用于训练识别14种不同植物共26类病害并选出最优模型.改进后最优模型收敛时间小于传统卷积神经网络模型,仅经过3次训练迭代,就能达到90%以上的识别准确率;参数内存需求仅为2.6 MB,平均测试识别准确率达到99.56%,查全率和查准率的加权平均分数为99.41%.改进模型受叶片的空间位置的变换影响较小,能识别多种植物叶片的不同病害.该模型具有较高的识别准确率及较强的鲁棒性,该研究可为植物叶片病害的识别提供参考.     

基于改进DenseNet的田间杂草识别

精确、快速地获取作物和杂草的类别信息是实现自动化除草作业的重要前提。为解决复杂环境下农作物田间杂草种类的高效准确识别问题,该研究提出一种基于改进DenseNet的杂草识别模型。首先,在DenseNet-121网络的基础上,通过在每个卷积层后引入ECA（Efficient Channel Attention）注意力机制,增加重要特征的权重,强化杂草特征并抑制背景特征;其次,通过DropBlock正则化随机隐藏杂草图像部分特征块,以提升模型的泛化能力,增强模型识别不同类型杂草的适应性;最后,以自然环境下玉米幼苗和6类伴生杂草作为样本,在相同试验条件下与VGG-16、ResNet-50和未改进的DenseNet-121模型进行对比试验。结果表明,改进的DenseNet模型性能最优,模型大小为26.55 MB,单张图像耗时0.23 s,平均识别准确率达到98.63%,较改进前模型的平均识别准确率提高了2.09%,且综合性能显著高于VGG-16、ResNet-50模型;同时,通过采用CAM（Class Activation Mapping）可视化热度图方法分析,得出改进前后模型的类别判断概率分别为0.68和0.98,本文模型明显高于未改进模型,进一步验证了改进模型的有效性。该模型能够很好地解决复杂环境下农作物和杂草的种类精准识别问题,为智能除草机器人开发奠定了坚实的技术基础。