基于优化Faster R-CNN的棉花苗期杂草识别与定位

为解决棉花苗期杂草种类多、分布状态复杂,且与棉花幼苗伴生的杂草识别率低、鲁棒性差等问题,以自然条件下新疆棉田棉花幼苗期的7种常见杂草为研究对象,提出了一种基于优化Faster R-CNN和数据增强的杂草识别与定位方法。采集不同生长背景和天气条件下的杂草图像4694幅,对目标进行标注后,再对其进行数据增强;针对Faster R-CNN模型设计合适的锚尺度,对比VGG16、VGG19、ResNet50和ResNet101这4种特征提取网络的分类效果,选定VGG16作为最优特征提取网络,训练后得到可识别不同天气条件下的棉花幼苗与多种杂草的Faster R-CNN网络模型。试验表明,该模型可对杂草与棉花幼苗伴生、杂草分布稀疏或分布紧密且目标多等情况下的杂草进行有效识别与定位,优化后的模型对单幅图像平均识别时间为0.261s,平均识别精确率为94.21%。在相同训练样本、特征提取网络以及环境设置条件下,将本文方法与主流目标检测算法——YOLO算法和SSD算法进行对比,优化后的Faster R-CNN模型具有明显优势。将训练好的模型置于田间实际环境进行验证试验,识别过程对采集到的150幅有效图像进行了验证,平均识别精确率为88.67%,平均每幅图像耗时0.385s,说明本文方法具有一定的适用性和可推广性。     

基于Faster R-CNN的田间西兰花幼苗图像检测方法

为解决自然环境下作物识别率不高、鲁棒性不强等问题,以西兰花幼苗为研究对象,提出了一种基于Faster R-CNN模型的作物检测方法。根据田间环境特点,采集不同光照强度、不同地面含水率和不同杂草密度下的西兰花幼苗图像,以确保样本多样性,并通过数据增强手段扩大样本量,制作PASCAL VOC格式数据集。针对此数据集训练Faster R-CNN模型,通过设计ResNet101、ResNet50与VGG16网络的对比试验,确定ResNet101网络为最优特征提取网络,其平均精度为90. 89%,平均检测时间249 ms。在此基础上优化网络超参数,确定Dropout值为0. 6时,模型识别效果最佳,其平均精度达到91. 73%。结果表明,本文方法能够对自然环境下的西兰花幼苗进行有效检测,可为农业智能除草作业中的作物识别提供借鉴。     

基于Cascade R-CNN的玉米幼苗检测

准确识别玉米幼苗是实现自动化精准除草、间苗、补种等苗期作业的重要前提。为此,针对自然环境下农业机器人对玉米幼苗的检测问题,结合深度残差网络强大的特征提取能力和级联网络连接多个检测器不断优化预测结果的特点,对Cascade R-CNN模型进行改进,使之适用于自然环境下玉米幼苗的检测。模型使用残差网络ResNet-50与特征金字塔网络FPN作为特征提取器提取玉米幼苗图像的特征图,利用区域建议网络生成目标候选框,通过感兴趣区域池化将不同大小的特征图转换为统一尺寸的输出;最后,分类回归模块根据特征图对目标进行分类,并使用边框回归修正候选框的位置和大小,从而完成玉米幼苗目标检测。同时,以3～5叶期玉米幼苗为研究对象,采集其田间图像并制作数据集,用所制作的数据集对Cascade R-CNN模型进行训练,选取AlexNet、VGG16、ResNet18、ResNet50与ResNet50+FPN分别作为特征提取网络进行对比试验,确定所提出的ResNet50+FPN为最优特征提取网络,平均精度均值(mAP)为91.76%,平均检测时间为6.5ms。选取双阶段目标检测模型Faster R-CNN、R-F...     

基于改进Faster R-CNN与迁移学习的农田杂草识别算法

杂草是导致农作物减产不保量的重要因素,针对田间自然环境下杂草识别精度低和识别范围局限的问题,提出一种基于改进Faster R-CNN与迁移学习的农田杂草识别算法。首先,采集多场景下不同时段不同角度的杂草图片,通过旋转、裁剪和调节色彩等方式扩充数据集;然后,在原始Faster R-CNN网络的基础上利用改进的双阈值非极大抑制算法（Non Maximum Suppression,NMS）查找置信度较高的边界框;最后,将AlexNet、GoogleNet、VGG16和ResNet50等作为模型的区域建议网络,并将其最优模型参数迁移至农田杂草识别任务中。通过在多样本数据集和少量物种样本数据集上进行测试验证,试验结果表明,算法可以实现96.58%的精确率、94.82%的召回率和95.06%的F1-score,相比当前主流算法在保持识别精度较高的基础上,具有更广的识别范围。     

基于改进Faster R-CNN的马铃薯发芽与表面损伤检测方法

发芽与表面损伤检测是鲜食马铃薯商品化的重要环节。针对鲜食马铃薯高通量分级分选过程中,高像素图像目标识别准确率低的问题,提出一种基于改进Faster R-CNN的商品马铃薯发芽与表面损伤检测方法。以Faster R-CNN为基础网络,将Faster R-CNN中的特征提取网络替换为残差网络ResNet50,设计了一种融合ResNet50的特征图金字塔网络（FPN）,增加神经网络深度。采用模型对比试验、消融试验对本文模型与改进策略的有效性进行了试验验证分析,结果表明:改进模型的马铃薯检测平均精确率为98.89%,马铃薯发芽检测平均精确率为97.52%,马铃薯表面损伤检测平均精确率为92.94%,与Faster R-CNN模型相比,改进模型在检测识别时间和内存占用量不增加的前提下,马铃薯检测精确率下降0.04个百分点,马铃薯发芽检测平均精确率提升7.79个百分点,马铃薯表面损伤检测平均精确率提升34.54个百分点。改进后的模型可以实现对在高分辨率工业相机采集高像素图像条件下,商品马铃薯发芽与表面损伤的准确识别,为商品马铃薯快速分级分等工业化生产提供了方法支撑。     

基于改进Faster R-CNN的苹果采摘视觉定位与检测方法

针对采摘机器人对场景中目标分布密集、果实相互遮挡的检测及定位能力不理想问题,提出一种引入高效通道注意力机制(ECA)和多尺度融合特征金字塔(FPN)改进Faster R-CNN果实检测及定位方法。首先,利用表达能力较强的融合FPN的残差网络ResNet50替换原VGG16网络,消除了网络退化问题,进而提取更加抽象和丰富的语义信息,提升模型对多尺度和小目标的检测能力;其次,引入注意力机制ECA模块,使特征提取网络聚焦特征图像的局部高效信息,减少无效目标的干扰,提升模型检测精度;最后,采用一种枝叶插图数据增强方法改进苹果数据集,解决图像数据不足问题。基于构建的数据集,使用遗传算法优化K-means++聚类生成自适应锚框,提高模型定位准确性。试验结果表明,改进模型对可抓取和不可直接抓取苹果的精度均值分别为96.16%和86.95%,平均精度均值为92.79%,较传统Faster R-CNN提升15.68个百分点;对可抓取和不可直接抓取的苹果定位精度分别为97.14%和88.93%,较传统Faster R-CNN分别提高12.53个百分点和40.49个百分点;内存占用量减少38.20%,每帧平均计算时间缩短40.7%,改进后的模型参数量小且实时性好,能够更好地应用于果实采摘机器人视觉系统。     

基于改进卷积神经网络的在体青皮核桃检测方法

采摘机器人对核桃采摘时,需准确检测到在体核桃目标。为实现自然环境下青皮核桃的精准识别,研究了基于改进卷积神经网络的青皮核桃检测方法。以预训练的VGG16网络结构作为模型的特征提取器,在Faster R-CNN的卷积层加入批归一化处理、利用双线性插值法改进RPN结构和构建混合损失函数等方式改进模型的适应性,分别采用SGD和Adam优化算法训练模型,并与未改进的Faster R-CNN对比。以精度、召回率和F1值作为模型的准确性指标,单幅图像平均检测时间作为速度性能评价指标。结果表明,利用Adam优化器训练得到的模型更稳定,精度高达97.71%,召回率为94.58%,F1值为96.12%,单幅图像检测耗时为0.227s。与未改进的Faster R-CNN模型相比,精度提高了5.04个百分点,召回率提高了4.65个百分点,F1值提升了4.84个百分点,单幅图像检测耗时降低了0.148s。在园林环境下,所提方法的成功率可达91.25%,并且能保持一定的实时性。该方法在核桃识别检测中能够保持较高的精度、较快的速度和较强的鲁棒性,能够为机器人快速长时间在复杂环境下识别并采摘核桃提供技术支撑。     

基于改进Faster R-CNN的田间黄板害虫检测算法

针对黄板诱捕的害虫体积小、数量多和分布不均匀,难以进行害虫识别的问题,引入当前主流目标检测模型Faster R-CNN对黄板上的小菜蛾、黄曲条跳甲和烟粉虱等主要害虫进行识别与计数,提出一种基于改进Faster R-CNN的田间黄板害虫检测算法（Mobile terminal pest Faster R-CNN,MPF R-CNN）。该算法将ResNet101网络与FPN网络相结合作为特征提取网络,并在RPN网络设计多种不同尺寸锚点对特征图像进行前景和背景判断,使用ROIAlign替代ROIPooling进行特征映射,以及使用双损失函数进行算法参数控制。对2440幅样本图像的实验分析表明,在真实复杂的自然环境下,MPF R-CNN对烟粉虱、黄曲条跳甲、小菜蛾和其他大型害虫（体长大于5mm）检测的平均精度分别为87.84%、86.94%、87.42%和86.38%;在35cm×25cm黄板上不超过480只的低密度下平均精度均值为93.41%,在480~960只害虫的中等密度下平均精度均值为89.76%。同时实验显示,在中低等密度下晴天和雨天的检测精度无明显差异,本算法计数结果与害虫计数决定系数为0.9255。将该算法置入以“微信小程序+云存储服务器+算法服务器”为架构的小米7手机终端系统中进行应用测试,平均识别时间为1.7s。研究表明,该算法在精度和速度上均可支持当前便携式应用,为利用手机对蔬菜害虫进行快速监测与识别提供了技术支撑。     

基于改进YOLOv3网络模型的茶草位置检测算法

精准高效的茶草识别是智能茶园植保机械进行除草工作的关键。针对目前茶园除草智能化程度较低等问题,提出改进YOLOv3网络模型的茶草检测算法。首先,分季节和时间段,在多个茶叶品种的种植园中以自适应的距离和角度采集茶草混合图像并建立试验数据集。接着,使用K均值聚类算法重新设计先验锚框尺度。然后,以YOLOv3网络模型为基础,选取17×17的网格划分图像区域;采用残差网络（ResNet）作为主干网;加入过程提取层,增强草株检测性能。最后在原损失函数中引入广义交并比损失。通过消融试验和不同目标检测算法对比试验验证此改进算法对茶树与杂草的检测效果。试验结果表明,改进 YOLOv3网络模型对杂草的检测精确率和召回率分别为85.34%和91.38%,对茶树的检测精确率和召回率最高达到82.56%和90.12%;与原YOLOv3网络模型相比,检测精确率提高8.05%,并且每秒传输帧数达到52.83 Hz,是Faster R-CNN网络模型的16倍。这些数据说明所提算法在茶园复杂环境下,不仅对于茶树和杂草具有更好的识别效果,而且满足实时检测的要求,可以为智能茶园植保机械提供技术支持。     

基于迁移学习的农作物病虫害检测方法研究与应用

为了提高农作物病虫害严重程度（健康、一般、严重）的分类效果，采用迁移学习方式并结合深度学习提出了一种基于残差网络（ResNet 50）的CDCNNv2算法。通过对10类作物的3万多幅病虫害图像进行训练，获得了病虫害严重程度分类模型，其识别准确率可达91.51%。为了验证CDCNNv2模型的鲁棒性，分别与使用迁移学习的ResNet 50、Xception、VGG16、VGG19、DenseNet 121模型进行对比试验，结果表明，CDCNNv2模型比其他模型的平均精度提升了2.78~10.93个百分点，具有更高的分类精度，病虫害严重程度识别的鲁棒性增强。基于该算法所训练的模型，结合Android技术开发了一款实时在线农作物病虫害等级识别APP，通过拍摄农作物叶片病虫害区域图像，能够在0.1~0.5s之内获取识别结果（物种-病害种类-严重程度）及防治建议。     

基于迁移学习和Mask R-CNN的稻飞虱图像分类方法

针对当前稻飞虱图像识别研究中自动化程度较低、识别精度不高的问题,提出了一种基于迁移学习和Mask R-CNN的稻飞虱图像分类方法。首先,根据稻飞虱的生物特性,采用本团队自主研发的野外昆虫图像采集装置,自动获取稻田稻飞虱及其他昆虫图像;采用VIA为数据集制作标签,将数据集分为稻飞虱和非稻飞虱两类,并通过迁移学习在Res Net50框架上训练数据;最后,基于Mask R-CNN分别对稻飞虱、非稻飞虱、存在干扰以及存在黏连和重合的昆虫图像进行分类实验,并与传统图像分类算法(SVM、BP神经网络)和Faster R-CNN算法进行对比。实验结果表明,在相同样本条件下,基于迁移学习和Mask R-CNN的稻飞虱图像分类算法能够快速、有效识别稻飞虱与非稻飞虱,平均识别精度达到0. 923,本研究可为稻飞虱的防治预警提供信息支持。     

面向植物病害识别的卷积神经网络精简结构Distilled-MobileNet模型

卷积神经网络（CNN）的发展带来了大量的网络参数和庞大的模型体积，极大地限制了其在小规模计算资源设备上的应用。为将CNN应用在各种小型设备上，研究了一种基于知识蒸馏的结构化模型压缩方法。该方法首先利用VGG16训练了一个识别率较高的教师模型，再将该模型中的知识通过蒸馏的方法迁移到MobileNet，从而大幅减少了模型的参数量。将知识蒸馏后的Distilled-MobileNet模型应用在14种作物的38种常见病害分类中。进行了知识蒸馏在VGG16、AlexNet、GoogleNet和ResNet 4种不同网络结构上的表现测试，结果表明，当VGG16作为教师模型时，模型准确率提升了97.54%；使用单个病害识别率、平均准确率、模型内存、平均识别时间4个指标对训练好的Distilled-MobileNet模型进行真实环境下准确性评估，经测试，模型的平均准确率达到了97.62%，平均识别时间缩短至0.218 s，仅占VGG16模型的13.20%，模型大小压缩仅为19.83 MB，相比于VGG16缩小了93.60%，使其具备了较高的准确性和实时性要求。本方法模型在压缩内存体积和缩短识别时间上较传统神经网络有了明显提高，为内存和计算资源受限设备上的病害识别提供了新的思路。     

基于田间图像的局部遮挡小尺寸稻穗检测和计数方法

大田水稻生长环境复杂,稻穗尺寸相对较小,且与叶片之间贴合并被遮挡严重,准确识别复杂田间场景中的水稻稻穗并自动统计穗数具有重要意义。为了实现对局部被叶片遮挡的小尺寸稻穗的计数,设计了一种基于生成特征金字塔的稻穗检测(Generative feature pyramid for panicle detection,GFP-PD)方法。首先,针对小尺寸稻穗在特征学习时的特征损失问题,量化分析稻穗尺寸与感受野大小的关系,通过选择合适的特征学习网络减少稻穗信息损失;其次,通过构造并融合多尺度特征金字塔来增强稻穗特征。针对稻穗特征中因叶片遮挡产生的噪声,基于生成对抗网络设计遮挡样品修复模块(Occlusion sample inpainting module,OSIM),将遮挡噪声修复为真实稻穗特征,优化遮挡稻穗的特征质量。对南粳46水稻的田间图像进行模型训练与测试,GFP-PD方法对稻穗计数的平均查全率和识别正确率为90.82%和99.05%,较Faster R-CNN算法计数结果分别提高了16.69、5.15个百分点。仅对Faster R-CNN算法构造特征金字塔,基于VGG16网络的平均查全率和识别正确率分别为87.10%和93.87%,较ZF网络分别提高3.75、1.20个百分点;进一步使用OSIM修复模型、优化稻穗特征,识别正确率由93.87%上升为99.05%。结果表明,选择适合特征学习网络和构建特征金字塔能够显著提高田间小尺寸稻穗的计数查全率; OSIM能够有效去除稻穗特征中的叶片噪声,有利于提升局部被叶片遮挡的稻穗的识别正确率。     

基于改进YOLOV4网络模型的番茄果实检测

果实识别是视觉检测技术重要的环节,其识别精度易受复杂的生长环境及果实状态的影响。以大棚环境下单个、一簇、光照、阴影、遮挡、重叠6种复杂生长状态下的番茄果实为对象,提出一种基于改进YOLOv4网络模型与迁移学习相结合的番茄果实识别方法。首先利用ImageNet数据集与VGG网络模型前端16卷积层进行模型参数预训练,将训练的模型参数初始化改进模型的权值以代替原始的初始化操作,然后使用番茄数据集在VGG19的卷积层与YOLOV4的主干网络相结合的新模型中进行训练,获得最优权重实现对复杂环境下的番茄果实进行检测。最后,将改进模型与Faster RCNN、YOLOv4-Tiny、YOLOv4网络模型进行比较。研究结果表明,改进模型在6种复杂环境下番茄果实平均检测精度值mAP达到89.07%、92.82%、92.48%、93.39%、93.20%、93.11%,在成熟、半成熟、未成熟3种不同成熟度下的F1分数值为84%、77%、85%,其识别精度优于比较模型。本文方法实现了在6种复杂环境下有效地番茄果实检测识别,为番茄果实的智能采摘提供理论基础。     

田间玉米苗期高通量动态监测方法

目前对玉米出苗动态检测监测主要是依靠人工观测，耗时耗力且只能选择小的样方估算整体出苗情况。为解决人工出苗动态管理不精准的问题，实现田间精细化管理，本研究以田间作物表型高通量采集平台获取的高时序可见光图像和无人机平台获取的可见光图像两种数据源构建了不同光照条件下的玉米出苗过程图像数据集。考虑到田间存在环境背景复杂、光照不均等因素，在传统Faster R-CNN的基础上构建残差单元，使用ResNet50作为新的特征提取网络来对Faster R-CNN进行优化，首先实现对复杂田间环境下玉米出苗识别和计数；进而基于表型平台所获取的高时序图像数据，对不同品种、不同密度的玉米植株进行出苗动态连续监测，对各玉米品种的出苗持续时间和出苗整齐度进行评价分析。试验结果表明，本研究提出的方法应用于田间作物高通量表型平台出苗检测时，晴天和阴天的识别精度分别为95.67%和91.36%；应用于无人机平台出苗检测时晴天和阴天的识别精度分别91.43%和89.77%，可以满足实际应用场景下玉米出苗自动检测的需求。利用表型平台可获取时序数据的优势，进一步进行了玉米动态出苗检测分析，结果表明利用本模型得到的动态出苗结果与人工实际观测具有一致性，说明本研究提出的模型的具有鲁棒性和泛化性。