基于Faster R-CNN的新疆棉花幼苗与杂草识别方法

针对新疆棉田杂草的伴生特点带来的特征过拟合、精确率低等问题,以新疆棉花幼苗与杂草为研究对象,分析杂草识别率低的影响因素,建立了基于Faster R-CNN的网络识别模型.采集不同角度、不同自然环境和不同密集程度混合生长的棉花幼苗与杂草图像5 370张.为确保样本质量以及多样性,利用颜色迁移和数据增强来提高图像的颜色特征与扩大样本量,以PASCAL VOC格式数据集进行网络模型训练.通过综合对比VGG16,VGG19,ResNet50和ResNet101这4种网络的识别时间与精度,选择VGG16网络训练Faster R-CNN模型.在此基础上设计了纵横比为1∶1的最佳锚尺度,在该模型下对新疆棉花幼苗与杂草进行识别,实现91.49%的平均识别精度,平均识别时间262 ms.为农业智能精确除草装备的研发提供了参考.     

基于Cascade R-CNN的玉米幼苗检测

准确识别玉米幼苗是实现自动化精准除草、间苗、补种等苗期作业的重要前提。为此,针对自然环境下农业机器人对玉米幼苗的检测问题,结合深度残差网络强大的特征提取能力和级联网络连接多个检测器不断优化预测结果的特点,对Cascade R-CNN模型进行改进,使之适用于自然环境下玉米幼苗的检测。模型使用残差网络ResNet-50与特征金字塔网络FPN作为特征提取器提取玉米幼苗图像的特征图,利用区域建议网络生成目标候选框,通过感兴趣区域池化将不同大小的特征图转换为统一尺寸的输出;最后,分类回归模块根据特征图对目标进行分类,并使用边框回归修正候选框的位置和大小,从而完成玉米幼苗目标检测。同时,以3～5叶期玉米幼苗为研究对象,采集其田间图像并制作数据集,用所制作的数据集对Cascade R-CNN模型进行训练,选取AlexNet、VGG16、ResNet18、ResNet50与ResNet50+FPN分别作为特征提取网络进行对比试验,确定所提出的ResNet50+FPN为最优特征提取网络,平均精度均值(mAP)为91.76%,平均检测时间为6.5ms。选取双阶段目标检测模型Faster R-CNN、R-F...     

基于优化Faster R-CNN的棉花苗期杂草识别与定位

为解决棉花苗期杂草种类多、分布状态复杂,且与棉花幼苗伴生的杂草识别率低、鲁棒性差等问题,以自然条件下新疆棉田棉花幼苗期的7种常见杂草为研究对象,提出了一种基于优化Faster R-CNN和数据增强的杂草识别与定位方法。采集不同生长背景和天气条件下的杂草图像4694幅,对目标进行标注后,再对其进行数据增强;针对Faster R-CNN模型设计合适的锚尺度,对比VGG16、VGG19、ResNet50和ResNet101这4种特征提取网络的分类效果,选定VGG16作为最优特征提取网络,训练后得到可识别不同天气条件下的棉花幼苗与多种杂草的Faster R-CNN网络模型。试验表明,该模型可对杂草与棉花幼苗伴生、杂草分布稀疏或分布紧密且目标多等情况下的杂草进行有效识别与定位,优化后的模型对单幅图像平均识别时间为0.261s,平均识别精确率为94.21%。在相同训练样本、特征提取网络以及环境设置条件下,将本文方法与主流目标检测算法——YOLO算法和SSD算法进行对比,优化后的Faster R-CNN模型具有明显优势。将训练好的模型置于田间实际环境进行验证试验,识别过程对采集到的150幅有效图像进行了验证,平均识别精确率为88.67%,平均每幅图像耗时0.385s,说明本文方法具有一定的适用性和可推广性。     

基于改进Faster R-CNN与迁移学习的农田杂草识别算法

杂草是导致农作物减产不保量的重要因素,针对田间自然环境下杂草识别精度低和识别范围局限的问题,提出一种基于改进Faster R-CNN与迁移学习的农田杂草识别算法。首先,采集多场景下不同时段不同角度的杂草图片,通过旋转、裁剪和调节色彩等方式扩充数据集;然后,在原始Faster R-CNN网络的基础上利用改进的双阈值非极大抑制算法（Non Maximum Suppression,NMS）查找置信度较高的边界框;最后,将AlexNet、GoogleNet、VGG16和ResNet50等作为模型的区域建议网络,并将其最优模型参数迁移至农田杂草识别任务中。通过在多样本数据集和少量物种样本数据集上进行测试验证,试验结果表明,算法可以实现96.58%的精确率、94.82%的召回率和95.06%的F1-score,相比当前主流算法在保持识别精度较高的基础上,具有更广的识别范围。     

基于改进Faster R-CNN的田间黄板害虫检测算法

针对黄板诱捕的害虫体积小、数量多和分布不均匀,难以进行害虫识别的问题,引入当前主流目标检测模型Faster R-CNN对黄板上的小菜蛾、黄曲条跳甲和烟粉虱等主要害虫进行识别与计数,提出一种基于改进Faster R-CNN的田间黄板害虫检测算法（Mobile terminal pest Faster R-CNN,MPF R-CNN）。该算法将ResNet101网络与FPN网络相结合作为特征提取网络,并在RPN网络设计多种不同尺寸锚点对特征图像进行前景和背景判断,使用ROIAlign替代ROIPooling进行特征映射,以及使用双损失函数进行算法参数控制。对2440幅样本图像的实验分析表明,在真实复杂的自然环境下,MPF R-CNN对烟粉虱、黄曲条跳甲、小菜蛾和其他大型害虫（体长大于5mm）检测的平均精度分别为87.84%、86.94%、87.42%和86.38%;在35cm×25cm黄板上不超过480只的低密度下平均精度均值为93.41%,在480~960只害虫的中等密度下平均精度均值为89.76%。同时实验显示,在中低等密度下晴天和雨天的检测精度无明显差异,本算法计数结果与害虫计数决定系数为0.9255。将该算法置入以“微信小程序+云存储服务器+算法服务器”为架构的小米7手机终端系统中进行应用测试,平均识别时间为1.7s。研究表明,该算法在精度和速度上均可支持当前便携式应用,为利用手机对蔬菜害虫进行快速监测与识别提供了技术支撑。     

基于改进Faster R-CNN的马铃薯发芽与表面损伤检测方法

发芽与表面损伤检测是鲜食马铃薯商品化的重要环节。针对鲜食马铃薯高通量分级分选过程中,高像素图像目标识别准确率低的问题,提出一种基于改进Faster R-CNN的商品马铃薯发芽与表面损伤检测方法。以Faster R-CNN为基础网络,将Faster R-CNN中的特征提取网络替换为残差网络ResNet50,设计了一种融合ResNet50的特征图金字塔网络（FPN）,增加神经网络深度。采用模型对比试验、消融试验对本文模型与改进策略的有效性进行了试验验证分析,结果表明:改进模型的马铃薯检测平均精确率为98.89%,马铃薯发芽检测平均精确率为97.52%,马铃薯表面损伤检测平均精确率为92.94%,与Faster R-CNN模型相比,改进模型在检测识别时间和内存占用量不增加的前提下,马铃薯检测精确率下降0.04个百分点,马铃薯发芽检测平均精确率提升7.79个百分点,马铃薯表面损伤检测平均精确率提升34.54个百分点。改进后的模型可以实现对在高分辨率工业相机采集高像素图像条件下,商品马铃薯发芽与表面损伤的准确识别,为商品马铃薯快速分级分等工业化生产提供了方法支撑。     

基于轻量二阶段检测模型的自然环境多类蔬菜幼苗识别

为实现自然环境下蔬菜幼苗精准快速识别,本文以豆角、花菜、白菜、茄子、辣椒、黄瓜等形态差异大、具有代表性的蔬菜幼苗为研究对象,提出一种基于轻量化二阶段检测模型的多类蔬菜幼苗检测方法。模型采用混合深度分离卷积作为前置基础网络对输入图像进行运算,以提高图像特征提取速度与效率;在此基础上,引入特征金字塔网络(Feature pyramid networks, FPN)单元融合特征提取网络不同层级特征信息,用于增强深度学习检测模型对多尺度目标的检测精度;然后,通过压缩检测头网络通道维数和全连接层数量,降低模型参数规模与计算复杂度;最后,将距离交并比（Distance-IoU, DIoU）损失作为目标边框回归损失函数,使预测框位置回归更加准确。试验结果表明,本文提出的深度学习推理模型对多类蔬菜幼苗的平均精度均值为97.47%,识别速度为19.07 f/s,模型占用存储空间为60 MB,对小目标作物以及叶片遮挡作物的平均精度均值达到88.55%,相比于Faster R-CNN、R-FCN模型具有良好的泛化性能和鲁棒性,可以为蔬菜田间农业智能装备精准作业所涉及的蔬菜幼苗检测识别问题提供新方案。     

基于改进Faster R-CNN的苹果采摘视觉定位与检测方法

针对采摘机器人对场景中目标分布密集、果实相互遮挡的检测及定位能力不理想问题,提出一种引入高效通道注意力机制(ECA)和多尺度融合特征金字塔(FPN)改进Faster R-CNN果实检测及定位方法。首先,利用表达能力较强的融合FPN的残差网络ResNet50替换原VGG16网络,消除了网络退化问题,进而提取更加抽象和丰富的语义信息,提升模型对多尺度和小目标的检测能力;其次,引入注意力机制ECA模块,使特征提取网络聚焦特征图像的局部高效信息,减少无效目标的干扰,提升模型检测精度;最后,采用一种枝叶插图数据增强方法改进苹果数据集,解决图像数据不足问题。基于构建的数据集,使用遗传算法优化K-means++聚类生成自适应锚框,提高模型定位准确性。试验结果表明,改进模型对可抓取和不可直接抓取苹果的精度均值分别为96.16%和86.95%,平均精度均值为92.79%,较传统Faster R-CNN提升15.68个百分点;对可抓取和不可直接抓取的苹果定位精度分别为97.14%和88.93%,较传统Faster R-CNN分别提高12.53个百分点和40.49个百分点;内存占用量减少38.20%,每帧平均计算时间缩短40.7%,改进后的模型参数量小且实时性好,能够更好地应用于果实采摘机器人视觉系统。     

基于改进卷积神经网络的在体青皮核桃检测方法

采摘机器人对核桃采摘时,需准确检测到在体核桃目标。为实现自然环境下青皮核桃的精准识别,研究了基于改进卷积神经网络的青皮核桃检测方法。以预训练的VGG16网络结构作为模型的特征提取器,在Faster R-CNN的卷积层加入批归一化处理、利用双线性插值法改进RPN结构和构建混合损失函数等方式改进模型的适应性,分别采用SGD和Adam优化算法训练模型,并与未改进的Faster R-CNN对比。以精度、召回率和F1值作为模型的准确性指标,单幅图像平均检测时间作为速度性能评价指标。结果表明,利用Adam优化器训练得到的模型更稳定,精度高达97.71%,召回率为94.58%,F1值为96.12%,单幅图像检测耗时为0.227s。与未改进的Faster R-CNN模型相比,精度提高了5.04个百分点,召回率提高了4.65个百分点,F1值提升了4.84个百分点,单幅图像检测耗时降低了0.148s。在园林环境下,所提方法的成功率可达91.25%,并且能保持一定的实时性。该方法在核桃识别检测中能够保持较高的精度、较快的速度和较强的鲁棒性,能够为机器人快速长时间在复杂环境下识别并采摘核桃提供技术支撑。     

基于Mask R-CNN模型的葡萄藤关键结构分割方法

剪枝点的精确识别与定位是实现葡萄藤冬季剪枝智能化的基础,葡萄藤关键结构的分割是用于推理精确剪枝点的重要前提。针对现有分割方法受背景影响较大致使葡萄藤各关键结构损失和剪枝点识别与定位不准确的问题,提出一种基于Mask R-CNN的葡萄藤关键结构分割方法,建立葡萄藤修剪模型以及各关键结构数据集。通过主干特征提取网络和分割性能的对比试验,得出最优的Mask R-CNN模型结构并验证其拟合与泛化能力以及在不同自然背景下的分割性能。结果表明,以ResNet 101+FPN为主干特征提取网络的Mask R-CNN模型具有较好的拟合与泛化能力,相较于对照组模型准确率分别提升7.33%和8.89%,召回率分别提升9.32%和9.26%,平均精度均值分别提升12.69%和12.63%,其能够克服各类自然种植背景因素,分割目标边缘完整,葡萄藤各关键结构之间连接关系正确。     

田间玉米苗期高通量动态监测方法

目前对玉米出苗动态检测监测主要是依靠人工观测,耗时耗力且只能选择小的样方估算整体出苗情况.为解决人工出苗动态管理不精准的问题,实现田间精细化管理,本研究以田间作物表型高通量采集平台获取的高时序可见光图像和无人机平台获取的可见光图像两种数据源构建了不同光照条件下的玉米出苗过程图像数据集.考虑到田间存在环境背景复杂、光照不...     

基于改进Mask R-CNN的植物表型智能检测算法

针对高通量自动化获取的植物表型性状图像的智能检测问题,采用迁移学习和改进掩膜区域卷积神经网络(Mask R-CNN)设计植物表型智能检测分割算法。首先对残差网络进行优化,并利用特征金字塔网络(FPN)对输入图像进行特征提取;然后调整候选区域提取网络(RPN)中锚框的长宽比例和阈值,并在RoIAlign中通过双线性插值法保留了特征图的空间信息;最后改进Mask检测头,并增加特征融合机制以获得高质量的掩膜。在西瓜突变体生长情况的性状表型数据集上进行训练和检测,得到结果表明：改进后的Mask R-CNN表现出更优的检测性能,与传统Mask R-CNN相比,检测精度提高22%,掩膜准确率提高2.7%,检测时间减少42 ms,为提升农业精准化水平和推动智慧农业发展提供了技术支撑。     

基于改进CenterNet的玉米雄蕊无人机遥感图像识别

为准确识别抽雄期玉米雄蕊实现监测玉米长势、植株计数和估产,基于无锚框的CenterNet目标检测模型,通过分析玉米雄蕊的尺寸分布,并在特征提取网络中添加位置坐标,从而提出一种改进的玉米雄蕊识别模型。针对雄蕊尺寸较小的特点,去除CenterNet网络中对图像尺度缩小的特征提取模块,在降低模型参数的同时,提高检测速度。在CenterNet特征提取模型中添加位置信息,提高定位精度,降低雄蕊漏检率。试验结果表明,与有锚框的YOLO v4、Faster R-CNN模型相比,改进的CenterNet雄蕊检测模型对无人机遥感影像的玉米雄蕊识别精度达到92.4%,分别高于Faster R-CNN和YOLO v4模型26.22、3.42个百分点;检测速度为36f/s,分别比Faster R-CNN和YOLO v4模型高32、23f/s。本文方法能够准确地检测无人机遥感图像中尺寸较小的玉米雄蕊,为玉米抽雄期的农情监测提供参考。     

基于迁移学习和Mask R-CNN的稻飞虱图像分类方法

针对当前稻飞虱图像识别研究中自动化程度较低、识别精度不高的问题,提出了一种基于迁移学习和Mask R-CNN的稻飞虱图像分类方法。首先,根据稻飞虱的生物特性,采用本团队自主研发的野外昆虫图像采集装置,自动获取稻田稻飞虱及其他昆虫图像;采用VIA为数据集制作标签,将数据集分为稻飞虱和非稻飞虱两类,并通过迁移学习在Res Net50框架上训练数据;最后,基于Mask R-CNN分别对稻飞虱、非稻飞虱、存在干扰以及存在黏连和重合的昆虫图像进行分类实验,并与传统图像分类算法(SVM、BP神经网络)和Faster R-CNN算法进行对比。实验结果表明,在相同样本条件下,基于迁移学习和Mask R-CNN的稻飞虱图像分类算法能够快速、有效识别稻飞虱与非稻飞虱,平均识别精度达到0. 923,本研究可为稻飞虱的防治预警提供信息支持。     

基于深度学习与复合字典的马铃薯病害识别方法

为解决自然环境下小样本病害叶片识别率低、鲁棒性不强的问题,以马铃薯病害叶片为研究对象,提出一种基于深度卷积神经网络与复合特征字典结合的病害叶片识别方法。首先,利用迁移学习技术对Faster R-CNN模型进行训练,检测出病害叶片的斑块区域;然后,采用高密度采样方法对整个斑块区域提取颜色特征和SIFT特征,建立颜色特征和SIFT特征词汇表,再由K-均值聚类算法对两类表观特征词汇表进行聚类,构造出复合特征字典;最后,将病害区域提取的特征在复合特征字典中映射后获得特征直方图,利用支持向量机训练出病害的识别模型。试验结果表明,复合特征字典中视觉单词数为50时,病害识别的鲁棒性和实时性最佳,平均识别准确率为90.83%,单帧图像耗时1.68 s;在颜色特征和SIFT特征组合下,本文方法在自然光照条件下对病害的平均识别准确率最高,达到84.16%;在相同数据集下,与传统词袋法相比,本文方法的平均识别准确率提高了25.45个百分点。