基于Faster R-CNN的田间西兰花幼苗图像检测方法

为解决自然环境下作物识别率不高、鲁棒性不强等问题,以西兰花幼苗为研究对象,提出了一种基于Faster R-CNN模型的作物检测方法。根据田间环境特点,采集不同光照强度、不同地面含水率和不同杂草密度下的西兰花幼苗图像,以确保样本多样性,并通过数据增强手段扩大样本量,制作PASCAL VOC格式数据集。针对此数据集训练Faster R-CNN模型,通过设计ResNet101、ResNet50与VGG16网络的对比试验,确定ResNet101网络为最优特征提取网络,其平均精度为90. 89%,平均检测时间249 ms。在此基础上优化网络超参数,确定Dropout值为0. 6时,模型识别效果最佳,其平均精度达到91. 73%。结果表明,本文方法能够对自然环境下的西兰花幼苗进行有效检测,可为农业智能除草作业中的作物识别提供借鉴。     

基于改进Faster R-CNN的马铃薯发芽与表面损伤检测方法

发芽与表面损伤检测是鲜食马铃薯商品化的重要环节。针对鲜食马铃薯高通量分级分选过程中,高像素图像目标识别准确率低的问题,提出一种基于改进Faster R-CNN的商品马铃薯发芽与表面损伤检测方法。以Faster R-CNN为基础网络,将Faster R-CNN中的特征提取网络替换为残差网络ResNet50,设计了一种融合ResNet50的特征图金字塔网络（FPN）,增加神经网络深度。采用模型对比试验、消融试验对本文模型与改进策略的有效性进行了试验验证分析,结果表明:改进模型的马铃薯检测平均精确率为98.89%,马铃薯发芽检测平均精确率为97.52%,马铃薯表面损伤检测平均精确率为92.94%,与Faster R-CNN模型相比,改进模型在检测识别时间和内存占用量不增加的前提下,马铃薯检测精确率下降0.04个百分点,马铃薯发芽检测平均精确率提升7.79个百分点,马铃薯表面损伤检测平均精确率提升34.54个百分点。改进后的模型可以实现对在高分辨率工业相机采集高像素图像条件下,商品马铃薯发芽与表面损伤的准确识别,为商品马铃薯快速分级分等工业化生产提供了方法支撑。     

基于GC-Cascade R-CNN的梨叶病斑计数方法

为提高梨叶片病害发生程度诊断的效率和准确性,本文提出基于全局上下文级联R-CNN网络（Global context Cascade R-CNN,GC-Cascade R-CNN）的梨叶病斑计数方法。模型的主干特征提取网络嵌入全局上下文模块（Global context feature model, GC-Model）,建立有效的长距离和通道依赖,增强目标特征信息。引入特征金字塔网络（Feature pyramid network, FPN）融合浅层细节特征和深层丰富语义特征。使用ROI Align替换ROI Pooling进行区域特征聚集,增强目标特征表达。最后利用多层级联网络对目标区域进行边框回归和分类,完成病斑计数任务。在梨叶病斑图像测试中,模型的各类病斑平均精确率均值（Mean average precision, mAP）达89.4%,检测单幅图像平均耗时为0.347 s。结果表明,模型能够有效地从梨叶片病害图像中检测出多类病斑目标,尤其对叶片炭疽病斑检测效果提升显著;不同种类梨叶片病害病斑计数值与真实值回归实验决定系数R²均大于0.92,表明模型病斑计数...     

基于改进Faster R-CNN的苹果采摘视觉定位与检测方法

针对采摘机器人对场景中目标分布密集、果实相互遮挡的检测及定位能力不理想问题,提出一种引入高效通道注意力机制(ECA)和多尺度融合特征金字塔(FPN)改进Faster R-CNN果实检测及定位方法。首先,利用表达能力较强的融合FPN的残差网络ResNet50替换原VGG16网络,消除了网络退化问题,进而提取更加抽象和丰富的语义信息,提升模型对多尺度和小目标的检测能力;其次,引入注意力机制ECA模块,使特征提取网络聚焦特征图像的局部高效信息,减少无效目标的干扰,提升模型检测精度;最后,采用一种枝叶插图数据增强方法改进苹果数据集,解决图像数据不足问题。基于构建的数据集,使用遗传算法优化K-means++聚类生成自适应锚框,提高模型定位准确性。试验结果表明,改进模型对可抓取和不可直接抓取苹果的精度均值分别为96.16%和86.95%,平均精度均值为92.79%,较传统Faster R-CNN提升15.68个百分点;对可抓取和不可直接抓取的苹果定位精度分别为97.14%和88.93%,较传统Faster R-CNN分别提高12.53个百分点和40.49个百分点;内存占用量减少38.20%,每帧平均计算时间缩短40.7%,改进后的模型参数量小且实时性好,能够更好地应用于果实采摘机器人视觉系统。     

基于优化Faster R-CNN的棉花苗期杂草识别与定位

为解决棉花苗期杂草种类多、分布状态复杂,且与棉花幼苗伴生的杂草识别率低、鲁棒性差等问题,以自然条件下新疆棉田棉花幼苗期的7种常见杂草为研究对象,提出了一种基于优化Faster R-CNN和数据增强的杂草识别与定位方法。采集不同生长背景和天气条件下的杂草图像4694幅,对目标进行标注后,再对其进行数据增强;针对Faster R-CNN模型设计合适的锚尺度,对比VGG16、VGG19、ResNet50和ResNet101这4种特征提取网络的分类效果,选定VGG16作为最优特征提取网络,训练后得到可识别不同天气条件下的棉花幼苗与多种杂草的Faster R-CNN网络模型。试验表明,该模型可对杂草与棉花幼苗伴生、杂草分布稀疏或分布紧密且目标多等情况下的杂草进行有效识别与定位,优化后的模型对单幅图像平均识别时间为0.261s,平均识别精确率为94.21%。在相同训练样本、特征提取网络以及环境设置条件下,将本文方法与主流目标检测算法——YOLO算法和SSD算法进行对比,优化后的Faster R-CNN模型具有明显优势。将训练好的模型置于田间实际环境进行验证试验,识别过程对采集到的150幅有效图像进行了验证,平均识别精确率为88.67%,平均每幅图像耗时0.385s,说明本文方法具有一定的适用性和可推广性。     

基于轻量二阶段检测模型的自然环境多类蔬菜幼苗识别

为实现自然环境下蔬菜幼苗精准快速识别,本文以豆角、花菜、白菜、茄子、辣椒、黄瓜等形态差异大、具有代表性的蔬菜幼苗为研究对象,提出一种基于轻量化二阶段检测模型的多类蔬菜幼苗检测方法。模型采用混合深度分离卷积作为前置基础网络对输入图像进行运算,以提高图像特征提取速度与效率;在此基础上,引入特征金字塔网络(Feature pyramid networks, FPN)单元融合特征提取网络不同层级特征信息,用于增强深度学习检测模型对多尺度目标的检测精度;然后,通过压缩检测头网络通道维数和全连接层数量,降低模型参数规模与计算复杂度;最后,将距离交并比（Distance-IoU, DIoU）损失作为目标边框回归损失函数,使预测框位置回归更加准确。试验结果表明,本文提出的深度学习推理模型对多类蔬菜幼苗的平均精度均值为97.47%,识别速度为19.07 f/s,模型占用存储空间为60 MB,对小目标作物以及叶片遮挡作物的平均精度均值达到88.55%,相比于Faster R-CNN、R-FCN模型具有良好的泛化性能和鲁棒性,可以为蔬菜田间农业智能装备精准作业所涉及的蔬菜幼苗检测识别问题提供新方案。     

基于改进Cascade R-CNN和图像增强的夜晚鱼类检测

针对光照不均、噪声大、拍摄质量不高的夜晚水下环境,为实现夜晚水下图像中鱼类目标的快速检测,利用计算机视觉技术,提出了一种基于改进Cascade R-CNN算法和具有色彩保护的MSRCP（Multi-scale Retinex with color restoration）图像增强算法的夜晚水下鱼类目标检测方法。首先针对夜晚水下环境的视频数据,根据时间间隔,截取出相应的夜晚水下鱼类图像,对截取的原始图像进行MSRCP图像增强。然后采用DetNASNet主干网络进行网络训练和水下鱼类特征信息的提取,将提取出的特征信息输入到Cascade R-CNN模型中,并使用Soft-NMS候选框优化算法对其中的RPN网络进行优化,最后对夜晚水下鱼类目标进行检测。实验结果表明,该方法解决了夜晚水下环境中的图像降质、鱼类目标重叠检测问题,实现了对夜晚水下鱼类目标的快速检测,对夜晚水下鱼类图像目标检测的查准率达到95.81%,比Cascade R-CNN方法提高了11.57个百分点。     

基于双金字塔网络的RGB-D群猪图像分割方法

为实现群养猪的视觉追踪和行为监测,针对猪舍中仔猪因拥挤堆叠等习性而导致的目标个体粘连、图像分割困难问题,提出基于双金字塔网络的RGB-D群猪图像分割方法。该方法基于实例分割Mask R-CNN框架,在特征提取网络(Res Net101)基础上改进成双金字塔特征提取网络。RGB图像和Depth图像分别提取特征后进行融合,输入区域生成网络得到预选锚(ROI)和共享特征输入Head网络,通过类别、回归和掩模3个分支,输出检测目标的位置和分类结果,实现猪舍场景下群养仔猪粘连区域的有效个体分割。网络模型训练采用2 000组图像样本,按照4∶1比例随机划分训练集和验证集。试验结果表明,双金字塔网络(Feature pyramid networks,FPN)能有效解决颜色相近、个体相似的群猪粘连问题,实现单个仔猪区域的完整分割,分割准确率达89.25%,训练GPU占有率为77.57%,与Mask R-CNN和Pig Net网络分割结果相比,分割准确率和分割速度均有较大提高。双金字塔网络模型对于多种行为状态、不同粘连程度的群猪图像中个体分割都取得了良好效果,模型泛化性和鲁棒性较好,为群养猪的个体自动追踪提供了新的途径。     

复杂大田场景中麦穗检测级联网络优化方法

单位种植面积的麦穗数量是评估小麦产量的关键农艺指标之一。针对农田复杂场景中存在的大量麦芒、卷曲麦叶、杂草等环境噪声、小尺寸目标和光照不均等导致的麦穗检测准确度下降的问题,提出了一种基于深度学习的麦穗检测方法（FCS R-CNN）。以Cascade R-CNN为基本网络模型,通过引入特征金字塔网络（Feature pyramid network,FPN）融合浅层细节特征和高层丰富语义特征,通过采用在线难例挖掘(Online hard example mining, OHEM)技术增加对高损失样本的训练频次,通过IOU(Intersection over union)阈值对网络模型进行阶段性融合,最后基于圆形LBP纹理特征训练一个SVM分类器,对麦穗检出结果进行复验。大田图像测试表明,FCS R-CNN模型的检测精度达92.9%,识别单幅图像平均耗时为0.357s,平均精度为81.22%,比Cascade R-CNN提高了21.76个百分点。     

基于改进Mask R-CNN的植物表型智能检测算法

针对高通量自动化获取的植物表型性状图像的智能检测问题,采用迁移学习和改进掩膜区域卷积神经网络(Mask R-CNN)设计植物表型智能检测分割算法。首先对残差网络进行优化,并利用特征金字塔网络(FPN)对输入图像进行特征提取;然后调整候选区域提取网络(RPN)中锚框的长宽比例和阈值,并在RoIAlign中通过双线性插值法保留了特征图的空间信息;最后改进Mask检测头,并增加特征融合机制以获得高质量的掩膜。在西瓜突变体生长情况的性状表型数据集上进行训练和检测,得到结果表明：改进后的Mask R-CNN表现出更优的检测性能,与传统Mask R-CNN相比,检测精度提高22%,掩膜准确率提高2.7%,检测时间减少42 ms,为提升农业精准化水平和推动智慧农业发展提供了技术支撑。     

基于深度学习的机器人疏果前毛桃目标识别方法

为实现自然环境下疏果前期毛桃目标的识别,提出了基于Faster R-CNN的毛桃目标识别方法,设计的网络由ResNet-50特征提取网络、区域生成网络和感兴趣区域子网组成,并以ResNet-50为基础网络,用来提取目标特征。工作时,区域生成网络依据ResNet-50提取的特征生成感兴趣区域,感兴趣区域子网依据目标特征和感兴趣区域进行毛桃的识别与定位;对图像进行扩增后,随机选取1920幅作为训练集、240幅作为验证集。用测试集中的240幅图像对模型进行测试,结果表明：目标识别方法能有效识别出自然环境下的毛桃目标,准确度为92.97%,误识率为7.03%,召回率为84.62%,平均检测速度为0.189s/幅,可实现疏果前期毛桃目标的识别,模型具有较好的鲁棒性和泛化能力。     

基于时空信息融合的母猪哺乳行为识别

及时获取准确的母猪哺乳行为信息对提高猪只集中养殖效益至关重要。本文旨在建立深度学习网络,融合时空信息,实现自动识别母猪哺乳行为。识别过程主要分2个阶段：母猪哺乳区域时空定位和哺乳区域时空信息特征提取、融合及识别。首先将俯拍视频图像序列输入Mask R-CNN,ResNet-101+FPN作为基础网络输出特征图输入区域生成网络,生成母猪检测候选框并分别输入母猪姿态识别分支和关键点检测分支,若母猪姿态被识别为侧卧则利用关键点检测分支输出关键点坐标,确定母猪哺乳区域,实现哺乳行为感兴趣时空区域定位。然后,在感兴趣时空区域中,利用双流卷积网络,进行时间流和空间流特征提取。最后利用串接卷积融合方式,识别序列图像中母猪是否进行哺乳。试验结果显示,用于哺乳区域空间定位的关键点的综合召回率Rk和精准率Pk分别为94.37%和94.53%,母猪哺乳行为识别正确率为97.85%,灵敏度为94.92%,特异度为98.51%。     

基于Mask R-CNN的柑橘主叶脉显微图像实例分割模型

针对目前植物解剖表型的测量与分析过程自动化低，难以应对复杂解剖表型的提取和识别的问题，以柑橘主叶脉为研究对象，提出了一种基于掩膜区域卷积神经网络(Mask region convolutional neural network, Mask R-CNN)的主叶脉显微图像实例分割模型，以残差网络ResNet50和特征金字塔(Feature pyramid network, FPN)为主干特征提取网络，在掩膜(Mask)分支上添加一个新的感兴趣区域对齐层(Region of interest Align, RoI-Align),提升Mask分支的分割精度。结果表明，该网络架构能够精准地对柑橘主叶脉横切面中的髓部、木质部、韧皮部和皮层细胞进行识别分割。Mask R-CNN模型对髓部、木质部、韧皮部和皮层细胞的分割平均精确率(交并比(IoU)为0.50)分别为98.9%、89.8%、95.7%和97.2%,对4个组织区域的分割平均精确率均值(IoU为0.50)为95.4%。与未在Mask分支添加RoI-Align的Mask R-CNN相比，精度提升1.6个百分点。研究结果表明，Mask R-CN...     

基于改进CenterNet的玉米雄蕊无人机遥感图像识别

为准确识别抽雄期玉米雄蕊实现监测玉米长势、植株计数和估产,基于无锚框的CenterNet目标检测模型,通过分析玉米雄蕊的尺寸分布,并在特征提取网络中添加位置坐标,从而提出一种改进的玉米雄蕊识别模型。针对雄蕊尺寸较小的特点,去除CenterNet网络中对图像尺度缩小的特征提取模块,在降低模型参数的同时,提高检测速度。在CenterNet特征提取模型中添加位置信息,提高定位精度,降低雄蕊漏检率。试验结果表明,与有锚框的YOLO v4、Faster R-CNN模型相比,改进的CenterNet雄蕊检测模型对无人机遥感影像的玉米雄蕊识别精度达到92.4%,分别高于Faster R-CNN和YOLO v4模型26.22、3.42个百分点;检测速度为36f/s,分别比Faster R-CNN和YOLO v4模型高32、23f/s。本文方法能够准确地检测无人机遥感图像中尺寸较小的玉米雄蕊,为玉米抽雄期的农情监测提供参考。     

基于卷积神经网络马铃薯叶片病害识别和病斑检测*

针对自然环境下马铃薯叶片病害识别率低和晚疫病斑定位难的问题,基于大田环境中采集的马铃薯叶片图像,首先对马铃薯叶片病害进行识别,对比AlexNet、VGG16、InceptionV3、ResNet50、MobileNet五种神经网络模型,结果表明InceptionV3模型的识别效果准确率最高,可达98.00%。其次对马铃薯叶片的晚疫病斑进行检测,提出一种改进型的CenterNet-SPP模型,该模型通过特征提取网络获取对象的中心点,再通过中心点回归获得中心点偏移量、目标大小等图像信息,训练后的模型在验证集下的mAP可达90.03%,以F₁为评价值分析对比其它目标检测模型,CenterNet-SPP模型的效果最好,准确率为94.93%,召回率为90.34%,F₁值为92.58%,平均检测一张图像耗时0.10 s。为自然环境下马铃薯叶片病害识别和检测提供较为全面的深度学习算法和模型研究基础。     

基于注意力机制的改进残差网络的柑橘分类研究

针对传统柑橘分级技术大多依赖人工获取特征信息,工作繁琐且效率低,难以实现在食品工业条件下进行有效识别的特点,提出一种基于注意力机制的改进残差网络的柑橘分类方法。该研究在残差网络（ResNet34）的基础上加入注意力机制,提高了有用信息的权重,同时降低了无关信息的权重,从而改善了分类模块的特征信息采集水平,进而提升了模型的分类能力。试验结果表明,基于注意力机制的残差网络对健康柑橘与缺陷柑橘的分类准确率达到99.02%,相较于原ResNet34模型分类准确率有了相对地提高和稳定。加入注意力机制的残差网络对于柑橘表面缺陷具有更好的特征提取能力,能够提取更多的柑橘缺陷特征信息。该研究有助于提高柑橘产业生产率,并为柑橘缺陷识别提供参考。     

基于注意力机制的葡萄品种多特征分类方法

针对田间自然背景下葡萄品种鉴别缺乏有效识别方法的问题,提出了一种基于融合注意力机制的残差网络ResNet50-SE,对自然背景下不同生长时期的葡萄品种进行分类鉴别,分析并验证了网络的识别效果。将SE注意力模块引入ResNet-50网络,并通过迁移学习实现基于不同时期下葡萄的嫩梢、幼叶及成熟叶片特征的识别;同时为了揭示注意力机制的作用机制,利用Grad-CAM可视化方法,对ResNet50-SE模型每一层所提取的不同生长阶段下的葡萄特征进行可视化解释;通过t-SNE算法对模型提取到的不同葡萄品种的多特征进行聚类分析,进而直观评估模型对多特征提取的性能。结果表明：提出的ResNet50-SE网络在田间复杂背景条件下对于葡萄不同时期的多特征识别具有较高的识别率和较强的鲁棒性,模型测试集准确率达到88.75%,平均召回率达到89.17%,相比于AlexNet 、GoogLeNet、ResNet-50、VGG-16,测试集准确率分别提高了13.61、7.64、0.70、6.53个百分点;注意力机制能明显降低背景影响,强化有效特征;模型对训练集提取的不同生长时期的特征聚类效果较强。可见,SE模块可明显提升ResNet-50模型在特征提取过程的效果,有效降低田间复杂背景对分类结果的影响,为田间复杂背景下葡萄品种的分类识别及田间多特征分类问题提供借鉴。     

基于Mask R-CNN模型的葡萄藤关键结构分割方法

剪枝点的精确识别与定位是实现葡萄藤冬季剪枝智能化的基础,葡萄藤关键结构的分割是用于推理精确剪枝点的重要前提。针对现有分割方法受背景影响较大致使葡萄藤各关键结构损失和剪枝点识别与定位不准确的问题,提出一种基于Mask R-CNN的葡萄藤关键结构分割方法,建立葡萄藤修剪模型以及各关键结构数据集。通过主干特征提取网络和分割性能的对比试验,得出最优的Mask R-CNN模型结构并验证其拟合与泛化能力以及在不同自然背景下的分割性能。结果表明,以ResNet 101+FPN为主干特征提取网络的Mask R-CNN模型具有较好的拟合与泛化能力,相较于对照组模型准确率分别提升7.33%和8.89%,召回率分别提升9.32%和9.26%,平均精度均值分别提升12.69%和12.63%,其能够克服各类自然种植背景因素,分割目标边缘完整,葡萄藤各关键结构之间连接关系正确。     

基于空间注意力和可变形卷积的无人机田间障碍物检测

为了解决植保无人机作业时,传统田间障碍物识别方法依赖人工提取特征,计算耗时较长,难以实现在非结构化田间环境下实时作业识别的问题,提出一种优化的Mask R-CNN模型的非结构化农田障碍物实例分割方法。以ResNet-50残差网络为基础,将空间注意力(Spatial attention, SA)引入残差结构,聚焦跟踪目标的显著性表观特征并主动抑制噪声等无用特征的影响;引入可变形卷积(Deformable convolution, DCN),通过加入偏移量,增大感受野,提高模型的鲁棒性。构建包含农田典型障碍物的数据集,通过对比试验研究在ResNet残差网络结构中的不同阶段中加入空间注意力和可变形卷积时的模型性能差异。结果表明,与Mask R-CNN原型网络相比,在ResNet的阶段2、阶段3、阶段5加入空间注意力和可变形卷积后,改进Mask R-CNN的边界框(Bbox)和掩膜(Mask)的平均精度均值(mAP)分别从64.5%、56.9%提高到71.3%、62.3%。本文提出的改进Mask R-CNN可以很好地实现农田障碍物检测,可为植保无人机在非结构化农田环境下安全高效工作提供技术支撑。     

基于改进Faster R-CNN的田间黄板害虫检测算法

针对黄板诱捕的害虫体积小、数量多和分布不均匀,难以进行害虫识别的问题,引入当前主流目标检测模型Faster R-CNN对黄板上的小菜蛾、黄曲条跳甲和烟粉虱等主要害虫进行识别与计数,提出一种基于改进Faster R-CNN的田间黄板害虫检测算法（Mobile terminal pest Faster R-CNN,MPF R-CNN）。该算法将ResNet101网络与FPN网络相结合作为特征提取网络,并在RPN网络设计多种不同尺寸锚点对特征图像进行前景和背景判断,使用ROIAlign替代ROIPooling进行特征映射,以及使用双损失函数进行算法参数控制。对2440幅样本图像的实验分析表明,在真实复杂的自然环境下,MPF R-CNN对烟粉虱、黄曲条跳甲、小菜蛾和其他大型害虫（体长大于5mm）检测的平均精度分别为87.84%、86.94%、87.42%和86.38%;在35cm×25cm黄板上不超过480只的低密度下平均精度均值为93.41%,在480~960只害虫的中等密度下平均精度均值为89.76%。同时实验显示,在中低等密度下晴天和雨天的检测精度无明显差异,本算法计数结果与害虫计数决定系数为0.9255。将该算法置入以“微信小程序+云存储服务器+算法服务器”为架构的小米7手机终端系统中进行应用测试,平均识别时间为1.7s。研究表明,该算法在精度和速度上均可支持当前便携式应用,为利用手机对蔬菜害虫进行快速监测与识别提供了技术支撑。