基于Cycle-GAN+Faster R-CNN的除草机器人杂草识别算法研究

为解决人工除草耗时长、农药除草污染大的问题,需要更准、更快的杂草识别定位算法帮助除草机器人根除农田杂草。课题小组提出了一种基于Faster R-CNN的农田杂草反向识别改进算法,新算法利用循环一致性生成对抗网络(Cycle-GAN)的图像生成能力以解决训练样本稀缺的问题,同时将Cycle-GAN与快速区域卷积神经网络(Faster R-CNN)混合使用,从而提高杂草识别能力。试验结果表明,该方法在正常拍摄的测试集图片中识别率可以达到95.06%,识别结果优于传统Faster R-CNN的87.59%。该算法具有识别速度快、实时性好的优点,在果园、园林除草等方面具有应用价值。     

基于改进Faster R-CNN与迁移学习的农田杂草识别算法

杂草是导致农作物减产不保量的重要因素,针对田间自然环境下杂草识别精度低和识别范围局限的问题,提出一种基于改进Faster R-CNN与迁移学习的农田杂草识别算法。首先,采集多场景下不同时段不同角度的杂草图片,通过旋转、裁剪和调节色彩等方式扩充数据集;然后,在原始Faster R-CNN网络的基础上利用改进的双阈值非极大抑制算法（Non Maximum Suppression,NMS）查找置信度较高的边界框;最后,将AlexNet、GoogleNet、VGG16和ResNet50等作为模型的区域建议网络,并将其最优模型参数迁移至农田杂草识别任务中。通过在多样本数据集和少量物种样本数据集上进行测试验证,试验结果表明,算法可以实现96.58%的精确率、94.82%的召回率和95.06%的F1-score,相比当前主流算法在保持识别精度较高的基础上,具有更广的识别范围。     

基于优化Faster R-CNN的棉花苗期杂草识别与定位

为解决棉花苗期杂草种类多、分布状态复杂,且与棉花幼苗伴生的杂草识别率低、鲁棒性差等问题,以自然条件下新疆棉田棉花幼苗期的7种常见杂草为研究对象,提出了一种基于优化Faster R-CNN和数据增强的杂草识别与定位方法。采集不同生长背景和天气条件下的杂草图像4694幅,对目标进行标注后,再对其进行数据增强;针对Faster R-CNN模型设计合适的锚尺度,对比VGG16、VGG19、ResNet50和ResNet101这4种特征提取网络的分类效果,选定VGG16作为最优特征提取网络,训练后得到可识别不同天气条件下的棉花幼苗与多种杂草的Faster R-CNN网络模型。试验表明,该模型可对杂草与棉花幼苗伴生、杂草分布稀疏或分布紧密且目标多等情况下的杂草进行有效识别与定位,优化后的模型对单幅图像平均识别时间为0.261s,平均识别精确率为94.21%。在相同训练样本、特征提取网络以及环境设置条件下,将本文方法与主流目标检测算法——YOLO算法和SSD算法进行对比,优化后的Faster R-CNN模型具有明显优势。将训练好的模型置于田间实际环境进行验证试验,识别过程对采集到的150幅有效图像进行了验证,平均识别精确率为88.67%,平均每幅图像耗时0.385s,说明本文方法具有一定的适用性和可推广性。     

基于Faster R-CNN的田间西兰花幼苗图像检测方法

为解决自然环境下作物识别率不高、鲁棒性不强等问题,以西兰花幼苗为研究对象,提出了一种基于Faster R-CNN模型的作物检测方法。根据田间环境特点,采集不同光照强度、不同地面含水率和不同杂草密度下的西兰花幼苗图像,以确保样本多样性,并通过数据增强手段扩大样本量,制作PASCAL VOC格式数据集。针对此数据集训练Faster R-CNN模型,通过设计ResNet101、ResNet50与VGG16网络的对比试验,确定ResNet101网络为最优特征提取网络,其平均精度为90. 89%,平均检测时间249 ms。在此基础上优化网络超参数,确定Dropout值为0. 6时,模型识别效果最佳,其平均精度达到91. 73%。结果表明,本文方法能够对自然环境下的西兰花幼苗进行有效检测,可为农业智能除草作业中的作物识别提供借鉴。     

基于二值化的Faster R-CNN柑橘病虫害识别研究

为研究在自然场景下柑橘叶片病害检测和识别技术,提出一种基于二值化的Faster R-CNN(Binary Faster R-CNN)区域检测神经网络模型。改进模型将原始的Faster R-CNN全连接层神经网络转变为二进制全卷积神经网络。试验结果表明,该模型对柑橘的黑斑病、溃疡病、黄龙病、疮痂病、健康叶片的平均准确率分别为87.2%、87.6%、89.8%、86.4%和86.6%,总平均准确率为87.5%;模型识别时间相较于Faster R-CNN网络提高0.53 s,每幅图像的检测时间为0.31 s,模型大小缩小到15.3 MB,FLOPs为2.58×10⁹;同时在保证模型检测有效性的情况下可快速收敛。该方法对复杂自然环境下的柑橘叶片病害检测具有较好的识别速度和鲁棒性,对柑橘类疾病预防有重要的研究意义。     

基于改进YOLOv3网络模型的茶草位置检测算法

精准高效的茶草识别是智能茶园植保机械进行除草工作的关键。针对目前茶园除草智能化程度较低等问题,提出改进YOLOv3网络模型的茶草检测算法。首先,分季节和时间段,在多个茶叶品种的种植园中以自适应的距离和角度采集茶草混合图像并建立试验数据集。接着,使用K均值聚类算法重新设计先验锚框尺度。然后,以YOLOv3网络模型为基础,选取17×17的网格划分图像区域;采用残差网络（ResNet）作为主干网;加入过程提取层,增强草株检测性能。最后在原损失函数中引入广义交并比损失。通过消融试验和不同目标检测算法对比试验验证此改进算法对茶树与杂草的检测效果。试验结果表明,改进 YOLOv3网络模型对杂草的检测精确率和召回率分别为85.34%和91.38%,对茶树的检测精确率和召回率最高达到82.56%和90.12%;与原YOLOv3网络模型相比,检测精确率提高8.05%,并且每秒传输帧数达到52.83 Hz,是Faster R-CNN网络模型的16倍。这些数据说明所提算法在茶园复杂环境下,不仅对于茶树和杂草具有更好的识别效果,而且满足实时检测的要求,可以为智能茶园植保机械提供技术支持。     

基于改进YOLOv8卷积神经网络的蟹味菇检测方法

针对蟹味菇生产过程中更好地预估产量,对生长状态做到实时检测的问题,提出了一种基于改进YOLOv8卷积神经网络的蟹味菇识别检测方法。该方法参照PASCAL VOC数据集格式,构建了蟹味菇目标检测数据集,采用添加CBAM注意力机制对原算法进行改进,并且与Faster R-CNN、SSD(single shot multibox detector)、原始YOLOv8等算法进行模型性能的试验对比。试验结果表明,改进的算法明显优于其他算法,其在测试集上的平均精度均值（mean average precision,mAP）和检测速度分别达到95%和91帧/s。此检测精度与检测时间满足蟹味菇的实时识别检测任务,为预估蟹味菇产量,提高生产管理水平提供了理论技术支持。     

基于Faster R-CNN的新疆棉花幼苗与杂草识别方法

针对新疆棉田杂草的伴生特点带来的特征过拟合、精确率低等问题,以新疆棉花幼苗与杂草为研究对象,分析杂草识别率低的影响因素,建立了基于Faster R-CNN的网络识别模型.采集不同角度、不同自然环境和不同密集程度混合生长的棉花幼苗与杂草图像5370张.为确保样本质量以及多样性,利用颜色迁移和数据增强来提高图像的颜色特征与...     

基于数据平衡深度学习的不同成熟度冬枣识别

为解决不同成熟度冬枣的样本数量相差悬殊导致的识别率低的问题,本文提出了一种基于数据平衡的Faster R-CNN的冬枣识别方法。该方法针对自然环境下不同成熟度的冬枣,首先从不同角度进行了数据平衡的Faster R-CNN冬枣识别方法研究,然后将所提出的方法与基于YOLOv3的识别方法进行了对比试验研究。研究结果表明：所提出的数据平衡的Faster R-CNN方法在样本数量不足和类别不平衡的情况下,增强了模型的泛化效果,对片红冬枣识别的平均精确度达到了98.50％,总损失值小于0.5,其识别平均精确度高于YOLOv3。该研究对解决冬枣自动化和智能化采摘的识别问题具有一定的实际意义和应用价值。     

基于改进Faster R-CNN的马铃薯芽眼识别方法

为提高对马铃薯芽眼的识别效果,提出一种基于改进Faster R-CNN的马铃薯芽眼识别方法。对Faster R-CNN中的非极大值抑制(Non maximum suppression, NMS)算法进行优化,对与M交并比(Intersection over union, IOU) 大于等于Nt的相邻检测框,利用高斯降权函数对其置信度进行衰减,通过判别参数对衰减后的置信度作进一步判断;在训练过程中加入采用优化NMS算法的在线难例挖掘 (Online hard example mining, OHEM) 技术,对马铃薯芽眼进行识别试验。试验结果表明：改进的模型识别精度为96.32%,召回率为90.85%,F1为93.51%,平均单幅图像的识别时间为0.183s。与原始的Faster R-CNN模型相比,改进的模型在不增加运行时间的前提下,精度、召回率、F1分别提升了4.65、6.76、5.79个百分点。改进Faster R-CNN模型能够实现马铃薯芽眼的有效识别,满足实时处理的要求,可为种薯自动切块中的芽眼识别提供参考。     

基于改进Faster R-CNN的田间黄板害虫检测算法

针对黄板诱捕的害虫体积小、数量多和分布不均匀,难以进行害虫识别的问题,引入当前主流目标检测模型Faster R-CNN对黄板上的小菜蛾、黄曲条跳甲和烟粉虱等主要害虫进行识别与计数,提出一种基于改进Faster R-CNN的田间黄板害虫检测算法（Mobile terminal pest Faster R-CNN,MPF R-CNN）。该算法将ResNet101网络与FPN网络相结合作为特征提取网络,并在RPN网络设计多种不同尺寸锚点对特征图像进行前景和背景判断,使用ROIAlign替代ROIPooling进行特征映射,以及使用双损失函数进行算法参数控制。对2440幅样本图像的实验分析表明,在真实复杂的自然环境下,MPF R-CNN对烟粉虱、黄曲条跳甲、小菜蛾和其他大型害虫（体长大于5mm）检测的平均精度分别为87.84%、86.94%、87.42%和86.38%;在35cm×25cm黄板上不超过480只的低密度下平均精度均值为93.41%,在480~960只害虫的中等密度下平均精度均值为89.76%。同时实验显示,在中低等密度下晴天和雨天的检测精度无明显差异,本算法计数结果与害虫计数决定系数为0.9255。将该算法置入以“微信小程序+云存储服务器+算法服务器”为架构的小米7手机终端系统中进行应用测试,平均识别时间为1.7s。研究表明,该算法在精度和速度上均可支持当前便携式应用,为利用手机对蔬菜害虫进行快速监测与识别提供了技术支撑。     

基于特征点邻域Hough变换的水稻秧苗行检测

水稻秧苗行检测对于精准农业和自动导航至关重要,为此提出一种基于特征点邻域Hough变换的水稻秧苗行检测方法,该方法可以有效解决杂草密度分布、光照强度和秧苗行曲率变化等因素对秧苗行检测的影响。该方法主要包括3个步骤：水稻秧苗行图像数据库的建立、水稻秧苗特征点提取和秧苗行中心线识别。首先,在杂草萌发期建立水稻秧苗在不同光照条件（晴、阴天）、不同杂草密度分布和不同秧苗生长状况的水稻秧苗行图像数据库;然后,采用基于Faster RCNN网络的秧苗检测模型获得水稻秧苗的特征点,即预测结果的中心点;最后,采用提出的基于特征点邻域的Hough变换算法识别秧苗行中心线。实验表明,本文方法对测试集秧苗行平均识别准确率达到92%,对不同杂草密度分布的秧苗行平均识别精度小于0.5°,对孤立的杂草噪声和光照变化不敏感,对曲率较大的秧苗行也能准确识别,具有较好的鲁棒性和识别精度。     

基于Faster R-CNN网络的茶叶嫩芽检测

为有效识别茶叶嫩芽提高机械采摘精度、规划采摘路线以避免伤害茶树,针对传统目标检测算法在复杂背景下检测精度低、鲁棒性差、速度慢等问题,探索了基于Faster R-CNN目标检测算法在复杂背景下茶叶嫩芽检测方面的应用。首先对采集图像分别进行等分裁切、标签制作、数据增强等处理,制作VOC2007数据集;其次在计算机上搭建深度学习环境,调整参数进行网络模型训练;最后对已训练模型进行测试,评价已训练模型的性能,并同时考虑了Faster R-CNN模型对于嫩芽类型(单芽和一芽一叶/二叶)的检测精度。结果表明,当不区分茶叶嫩芽类型时,平均准确度(AP)为54%,均方根误差(RMSE)为3.32;当区分茶叶嫩芽类型时,单芽和一芽一叶/二叶的AP为22%和75%,RMSE为2.84;另外剔除单芽后,一芽一叶/二叶的AP为76%,RMSE为2.19。通过对比基于颜色特征和阈值分割的茶叶嫩芽识别算法(传统目标检测算法),表明深度学习目标检测算法在检测精度和速度上明显优于传统目标检测算法(RMSE为5.47),可以较好地识别复杂背景下的茶叶嫩芽。     

基于改进AlexNet的广域复杂环境下遮挡猕猴桃目标识别

为了提高猕猴桃采摘机器人的工作效率和对猕猴桃复杂生长环境的适应性,识别广域复杂环境下相互遮挡的猕猴桃目标,采用Im-AlexNet为特征提取层的Faster R-CNN目标检测算法,通过迁移学习微调AlexNet网络,修改全连接层L6、L7的节点数为768和256,以解决晴天(白天逆光、侧逆光)、阴天及夜间补光条件下的广域复杂环境中猕猴桃因枝叶遮挡或部分果实重叠遮挡所导致的识别精度较低等问题。采集广域复杂环境中晴天逆光、晴天侧逆光、阴天和夜间补光条件下存在遮挡情况的4类样本图像共1 823幅,建立试验样本数据库进行训练并测试。试验结果表明:该方法对晴天逆光、晴天侧逆光、阴天和夜间补光条件下存在遮挡情况的图像识别精度为96. 00%,单幅图像识别时间约为1 s。在相同数据集下,Im-AlexNet网络识别精度比LeNet、AlexNet和VGG16 3种网络识别精度的平均值高出5. 74个百分点。说明该算法能够降低猕猴桃果实漏识别率和误识别率,提高了识别精度。该算法能够应用于猕猴桃采摘机器人对广域复杂环境下枝叶遮挡或部分果实重叠遮挡的准确识别。     

基于YOLO v5的农田杂草识别轻量化方法研究

针对已有杂草识别模型对复杂农田环境下多种目标杂草的识别率低、模型内存占用量大、参数多、识别速度慢等问题,提出了基于YOLO v5的轻量化杂草识别方法。利用带色彩恢复的多尺度视网膜(Multi-scale retinex with color restoration,MSRCR)增强算法对部分图像数据进行预处理,提高边缘细节模糊的图像清晰度,降低图像中的阴影干扰。使用轻量级网络PP-LCNet重置了识别模型中的特征提取网络,减少模型参数量。采用Ghost卷积模块轻量化特征融合网络,进一步降低计算量。为了弥补轻量化造成的模型性能损耗,在特征融合网络末端添加基于标准化的注意力模块(Normalization-based attention module,NAM),增强模型对杂草和玉米幼苗的特征提取能力。此外,通过优化主干网络注意力机制的激活函数来提高模型的非线性拟合能力。在自建数据集上进行实验,实验结果显示,与当前主流目标检测算法YOLO v5s以及成熟的轻量化目标检测算法MobileNet v3-YOLO v5s、ShuffleNet v2-YOLO v5s比较,轻量化后杂草识别模型内存占用量为6.23MB,分别缩小54.5%、12%和18%;平均精度均值(Mean average precision,mAP)为97.8%,分别提高1.3、5.1、4.4个百分点。单幅图像检测时间为118.1ms,达到了轻量化要求。在保持较高模型识别精度的同时大幅降低了模型复杂度,可为采用资源有限的移动端设备进行农田杂草识别提供技术支持。     

基于田间图像的局部遮挡小尺寸稻穗检测和计数方法

大田水稻生长环境复杂,稻穗尺寸相对较小,且与叶片之间贴合并被遮挡严重,准确识别复杂田间场景中的水稻稻穗并自动统计穗数具有重要意义。为了实现对局部被叶片遮挡的小尺寸稻穗的计数,设计了一种基于生成特征金字塔的稻穗检测(Generative feature pyramid for panicle detection,GFP-PD)方法。首先,针对小尺寸稻穗在特征学习时的特征损失问题,量化分析稻穗尺寸与感受野大小的关系,通过选择合适的特征学习网络减少稻穗信息损失;其次,通过构造并融合多尺度特征金字塔来增强稻穗特征。针对稻穗特征中因叶片遮挡产生的噪声,基于生成对抗网络设计遮挡样品修复模块(Occlusion sample inpainting module,OSIM),将遮挡噪声修复为真实稻穗特征,优化遮挡稻穗的特征质量。对南粳46水稻的田间图像进行模型训练与测试,GFP-PD方法对稻穗计数的平均查全率和识别正确率为90.82%和99.05%,较Faster R-CNN算法计数结果分别提高了16.69、5.15个百分点。仅对Faster R-CNN算法构造特征金字塔,基于VGG16网络的平均查全率和识别正确率分别为87.10%和93.87%,较ZF网络分别提高3.75、1.20个百分点;进一步使用OSIM修复模型、优化稻穗特征,识别正确率由93.87%上升为99.05%。结果表明,选择适合特征学习网络和构建特征金字塔能够显著提高田间小尺寸稻穗的计数查全率; OSIM能够有效去除稻穗特征中的叶片噪声,有利于提升局部被叶片遮挡的稻穗的识别正确率。     

基于特征优化和LS-SVM的棉田杂草识别

为了提高杂草识别的精度和效率,提出了一种基于特征优化和最小二乘支持向量机(LS-SVM)技术的棉田杂草识别方法.在对原始图像灰度化、滤波去噪和阈值分割等处理的基础上,提取植物叶片的6个几何特征和7个Hu不变矩,用粒子群优化(PSO)算法对形状特征进行优化选择,缩减LS-SVM训练样本数据,然后用训练好的分类器进行杂草识别.实验结果表明,该方法在有效缩减形状特征的同时,能够保持高于原始特征集的识别率,平均正确识别率达到95.8%.     

基于迁移学习和Mask R-CNN的稻飞虱图像分类方法

针对当前稻飞虱图像识别研究中自动化程度较低、识别精度不高的问题,提出了一种基于迁移学习和Mask R-CNN的稻飞虱图像分类方法。首先,根据稻飞虱的生物特性,采用本团队自主研发的野外昆虫图像采集装置,自动获取稻田稻飞虱及其他昆虫图像;采用VIA为数据集制作标签,将数据集分为稻飞虱和非稻飞虱两类,并通过迁移学习在Res Net50框架上训练数据;最后,基于Mask R-CNN分别对稻飞虱、非稻飞虱、存在干扰以及存在黏连和重合的昆虫图像进行分类实验,并与传统图像分类算法(SVM、BP神经网络)和Faster R-CNN算法进行对比。实验结果表明,在相同样本条件下,基于迁移学习和Mask R-CNN的稻飞虱图像分类算法能够快速、有效识别稻飞虱与非稻飞虱,平均识别精度达到0. 923,本研究可为稻飞虱的防治预警提供信息支持。     

基于深度信念网络的猪咳嗽声识别

为了在生猪养殖产生呼吸道疾病的初期,通过监测猪咳嗽声进行疾病预警,提出了基于深度信念网络(DBN)对猪咳嗽声进行识别的方法。以长白猪咳嗽、打喷嚏、吃食、尖叫、哼哼、甩耳朵等声音为研究对象,利用基于多窗谱的心理声学语音增强算法和单参数双门限端点检测对猪声音进行预处理,实现猪声音信号的去噪和有效信号检测。基于时间规整算法提取300维短时能量和720维梅尔频率倒谱系数(MFCC)组合成1020维特征参数,将该组合特征参数作为DBN学习和识别数据集,选定3隐层神经元个数分别为42、17和7,构建网络结构为1020-42-17-7-2的5层深度信念网络猪咳嗽声识别模型。通过5折交叉实验验证,基于DBN的猪咳嗽声识别率和总识别率均达到90%以上,误识别率不超过8.07%,最优组猪咳嗽声识别率达到94.12%,误识别率为7.45%,总识别率达到93.21%。进一步基于主成分分析法(PCA)提取1020维特征参数98.01%主成分得到479维特征参数,通过5折交叉实验验证,猪咳嗽声识别率和总识别率相对降维前均有所提高,误识别率有所降低,最优组猪咳嗽声识别率达到95.80%,误识别率为6.83%,总识别率达到94.29%,实验结果表明所建模型是有效可行的。     

基于改进Faster R-CNN的海参目标检测算法

海参目标检测是实现海参自动化捕捞的前提。为了解决复杂海底环境下背景和目标颜色相近以及遮挡导致的目标漏检问题,本文在Faster R-CNN框架下,提出了Swin-RCNN目标检测算法。该算法的骨干网络采用Swin Transformer,同时在结构上融入了多尺度特征提取层和实例分割功能,提高了算法的自适应特征融合能力,从而提高了模型在复杂环境下对不同尺寸海参的识别能力。实验结果表明：本文方法对海参检测的平均精度均值（mAP）达到94.47%,与Faster R-CNN、SSD、YOLO v5、YOLO v4、YOLO v3相比分别提高4.49、4.56、4.46、11.78、22.07个百分点。