基于改进卷积神经网络的在体青皮核桃检测方法

采摘机器人对核桃采摘时,需准确检测到在体核桃目标。为实现自然环境下青皮核桃的精准识别,研究了基于改进卷积神经网络的青皮核桃检测方法。以预训练的VGG16网络结构作为模型的特征提取器,在Faster R-CNN的卷积层加入批归一化处理、利用双线性插值法改进RPN结构和构建混合损失函数等方式改进模型的适应性,分别采用SGD和Adam优化算法训练模型,并与未改进的Faster R-CNN对比。以精度、召回率和F1值作为模型的准确性指标,单幅图像平均检测时间作为速度性能评价指标。结果表明,利用Adam优化器训练得到的模型更稳定,精度高达97.71%,召回率为94.58%,F1值为96.12%,单幅图像检测耗时为0.227s。与未改进的Faster R-CNN模型相比,精度提高了5.04个百分点,召回率提高了4.65个百分点,F1值提升了4.84个百分点,单幅图像检测耗时降低了0.148s。在园林环境下,所提方法的成功率可达91.25%,并且能保持一定的实时性。该方法在核桃识别检测中能够保持较高的精度、较快的速度和较强的鲁棒性,能够为机器人快速长时间在复杂环境下识别并采摘核桃提供技术支撑。     

基于深度学习的茶嫩芽分割与采摘点定位方法研究

为实现茶嫩芽快速识别与采摘点定位,研究一种轻量级深度学习网络实现茶嫩芽分割与采摘点定位。采用MobileNetV2主干网络与空洞卷积相结合,较好地平衡茶嫩芽图像分割速度与精度的矛盾,实现较高分割精度的同时,满足茶嫩芽快速识别的要求,并设计外轮廓扫描与面积阈值过滤相结合的采摘点定位方法。试验表明：所提出的茶嫩芽分割算法在单芽尖及一芽一叶数据集中精度优异,平均交并比mIoU分别达到91.65%和91.36%;在保持高精度的同时,模型复杂度低,参数量仅5.81 M、计算量仅39.78 GFOLPs;在单芽尖、一芽一叶及一芽两叶数据集中各随机抽取200张图片进行采摘点定位验证,定位准确率分别达到90.38%、95.26%和96.60%。     

基于改进Faster R-CNN的海参目标检测算法

海参目标检测是实现海参自动化捕捞的前提。为了解决复杂海底环境下背景和目标颜色相近以及遮挡导致的目标漏检问题,本文在Faster R-CNN框架下,提出了Swin-RCNN目标检测算法。该算法的骨干网络采用Swin Transformer,同时在结构上融入了多尺度特征提取层和实例分割功能,提高了算法的自适应特征融合能力,从而提高了模型在复杂环境下对不同尺寸海参的识别能力。实验结果表明：本文方法对海参检测的平均精度均值（mAP）达到94.47%,与Faster R-CNN、SSD、YOLO v5、YOLO v4、YOLO v3相比分别提高4.49、4.56、4.46、11.78、22.07个百分点。     

基于改进Faster R-CNN的马铃薯芽眼识别方法

为提高对马铃薯芽眼的识别效果，提出一种基于改进Faster R-CNN的马铃薯芽眼识别方法。对Faster R-CNN中的非极大值抑制(Non maximum suppression, NMS)算法进行优化，对与M交并比(Intersection over union, IOU) 大于等于Nt的相邻检测框，利用高斯降权函数对其置信度进行衰减，通过判别参数对衰减后的置信度作进一步判断；在训练过程中加入采用优化NMS算法的在线难例挖掘 (Online hard example mining, OHEM) 技术，对马铃薯芽眼进行识别试验。试验结果表明：改进的模型识别精度为96.32%，召回率为90.85%，F1为93.51%，平均单幅图像的识别时间为0.183s。与原始的Faster R-CNN模型相比，改进的模型在不增加运行时间的前提下，精度、召回率、F1分别提升了4.65、6.76、5.79个百分点。改进Faster R-CNN模型能够实现马铃薯芽眼的有效识别，满足实时处理的要求，可为种薯自动切块中的芽眼识别提供参考。     

基于优化Faster R-CNN的棉花苗期杂草识别与定位

为解决棉花苗期杂草种类多、分布状态复杂,且与棉花幼苗伴生的杂草识别率低、鲁棒性差等问题,以自然条件下新疆棉田棉花幼苗期的7种常见杂草为研究对象,提出了一种基于优化Faster R-CNN和数据增强的杂草识别与定位方法。采集不同生长背景和天气条件下的杂草图像4694幅,对目标进行标注后,再对其进行数据增强;针对Faster R-CNN模型设计合适的锚尺度,对比VGG16、VGG19、ResNet50和ResNet101这4种特征提取网络的分类效果,选定VGG16作为最优特征提取网络,训练后得到可识别不同天气条件下的棉花幼苗与多种杂草的Faster R-CNN网络模型。试验表明,该模型可对杂草与棉花幼苗伴生、杂草分布稀疏或分布紧密且目标多等情况下的杂草进行有效识别与定位,优化后的模型对单幅图像平均识别时间为0.261s,平均识别精确率为94.21%。在相同训练样本、特征提取网络以及环境设置条件下,将本文方法与主流目标检测算法——YOLO算法和SSD算法进行对比,优化后的Faster R-CNN模型具有明显优势。将训练好的模型置于田间实际环境进行验证试验,识别过程对采集到的150幅有效图像进行了验证,平均识别精确率为88.67%,平均每幅图像耗时0.385s,说明本文方法具有一定的适用性和可推广性。     

基于改进YOLO v4的自然环境苹果轻量级检测方法

针对苹果采摘机器人识别算法包含复杂的网络结构和庞大的参数体量,严重限制检测模型的响应速度问题,本文基于嵌入式平台,以YOLO v4作为基础框架提出一种轻量化苹果实时检测方法(YOLO v4-CA)。该方法使用MobileNet v3作为特征提取网络,并在特征融合网络中引入深度可分离卷积,降低网络计算复杂度;同时,为弥补模型简化带来的精度损失,在网络关键位置引入坐标注意力机制,强化目标关注以提高密集目标检测以及抗背景干扰能力。在此基础上,针对苹果数据集样本量小的问题,提出一种跨域迁移与域内迁移相结合的学习策略,提高模型泛化能力。试验结果表明,改进后模型的平均检测精度为92.23%,在嵌入式平台上的检测速度为15.11f/s,约为改进前模型的3倍。相较于SSD300与Faster R-CNN,平均检测精度分别提高0.91、2.02个百分点,在嵌入式平台上的检测速度分别约为SSD300和Faster R-CNN的1.75倍和12倍;相较于两种轻量级目标检测算法DY3TNet与YOLO v5s,平均检测精度分别提高7.33、7.73个百分点。因此,改进后的模型能够高效实时地对复杂果园环境中的苹果进行检测,适宜在嵌入式系统上部署,可以为苹果采摘机器人的识别系统提供解决思路。     

基于改进Faster R-CNN的田间黄板害虫检测算法

针对黄板诱捕的害虫体积小、数量多和分布不均匀,难以进行害虫识别的问题,引入当前主流目标检测模型Faster R-CNN对黄板上的小菜蛾、黄曲条跳甲和烟粉虱等主要害虫进行识别与计数,提出一种基于改进Faster R-CNN的田间黄板害虫检测算法（Mobile terminal pest Faster R-CNN,MPF R-CNN）。该算法将ResNet101网络与FPN网络相结合作为特征提取网络,并在RPN网络设计多种不同尺寸锚点对特征图像进行前景和背景判断,使用ROIAlign替代ROIPooling进行特征映射,以及使用双损失函数进行算法参数控制。对2440幅样本图像的实验分析表明,在真实复杂的自然环境下,MPF R-CNN对烟粉虱、黄曲条跳甲、小菜蛾和其他大型害虫（体长大于5mm）检测的平均精度分别为87.84%、86.94%、87.42%和86.38%;在35cm×25cm黄板上不超过480只的低密度下平均精度均值为93.41%,在480~960只害虫的中等密度下平均精度均值为89.76%。同时实验显示,在中低等密度下晴天和雨天的检测精度无明显差异,本算法计数结果与害虫计数决定系数为0.9255。将该算法置入以“微信小程序+云存储服务器+算法服务器”为架构的小米7手机终端系统中进行应用测试,平均识别时间为1.7s。研究表明,该算法在精度和速度上均可支持当前便携式应用,为利用手机对蔬菜害虫进行快速监测与识别提供了技术支撑。     

基于K-means聚类法的茶叶嫩芽识别研究

以数码相机采集的茶叶图像为对象,研究茶叶嫩芽的识别方法。采用基于Lab颜色模型中a分量、b分量信息的K-means聚类法识别彩色图像中的茶叶嫩芽。对不同距离采集的茶叶图像,对比分析Ostu法(最大方差自动取阈法)和3个聚类中心的K-means聚类法的目标识别效果和识别效率。结果表明,Ostu法虽然可以完成嫩芽的识别,平均识别率在89%左右,但不能较好的保证分割后嫩芽的完整度。基Lab颜色模型和K-means聚类法的识别算法能较好的区分嫩芽和背景,平均识别率达到94%左右,且能较好的保证分割后嫩芽的完整度,为智能采摘技术研究提供技术支持和理论基础。     

基于Faster-RCNN深度学习的茶叶嫩芽多维度识别及其性能分析

茶叶嫩芽自动识别分类是实现采茶机器人精采名优茶的关键技术。由于茶叶嫩芽与背景中茶叶差别很小,且茶叶嫩芽形状多样,有一芽一叶和一芽二叶等多种形式,给自动识别带来很大难度。基于Faster-RCNN深度学习神经网络模型多维度进行茶叶嫩芽识别。首先对网络性能进行分析,选取较优的网络模型;在此基础上,研究一幅图像中包含嫩芽的不同数量、形态、拍摄角度、光照条件多维度对识别性能的影响。结果发现,光照条件和拍摄角度对嫩芽识别影响较大。所采用的Faster-RCNN深度学习模型对45°角度拍摄、晴天环境下单株集中一芽两叶的茶叶嫩芽识别效果最佳,同时阴天和90°拍摄时识别效果较差。研究为后续实现机器人现代化智能化的名优茶精采提供了技术支持。     

基于Compact-YOLO v4的茶叶嫩芽移动端识别方法

茶叶嫩芽精准识别是实现嫩芽智能化采摘的前提与基础,采用视觉和深度学习的嫩芽识别方法逐渐成熟,但该方法过度依赖于高性能硬件,不利于采茶机器人移动端的部署,针对这一问题,本文提出一种基于Compact-YOLO v4算法的茶叶嫩芽移动端识别方法。首先对YOLO v4算法的Backbone网络和Neck网络进行改进,将Backbone网络替换为GhostNet,将Neck网络中传统卷积替换为Ghost卷积,改进后的模型内存占用量仅为原来的1/5。接着运用迁移学习的训练方法提升模型精度,试验表明,Compact-YOLO v4算法模型的精度、召回率、平均精度均值、F1值分别为51.07%、78.67%、72.93%和61.45%。最后将本文算法模型移植到PRO-RK3568-B移动端开发板,通过转换模型、量化处理、改进部署环境3种方式,降低模型推理计算对硬件性能的需求,最终在保证嫩芽识别准确率的前提下,实现了优化模型推理过程、减轻移动端边缘计算压力的目的,为茶叶嫩芽采摘机器人的实际应用提供了技术支撑。     

基于卷积神经网络的鲜茶叶智能分选系统研究

机采鲜茶叶中混有各种等级的茶叶,针对风选、筛选等分选方法难以做到精确细分的问题,结合计算机视觉技术和深度学习方法,设计了一套鲜茶叶智能分选系统,搭建了基于7层结构的卷积神经网络识别模型,通过共享权值和逐渐下降的学习速率,提高了卷积神经网络的训练性能。经过实验验证,该分选系统可以实现鲜茶叶的自动识别和分选,识别正确率不低于90%,可对鲜茶叶中的单芽、一芽一叶、一芽二叶、一芽三叶、单片叶、叶梗进行有效的类别分选。     

基于深度学习的大豆生长期叶片缺素症状检测方法

为了检测作物叶片缺素,提出了一种基于神经网络的大豆叶片缺素视觉检测方法。在对大豆缺素叶片进行特征分析后,采用深度学习技术,利用Mask R-CNN模型对固定摄像头采集的叶片图像进行分割,以去除背景特征,并利用VGG16模型进行缺素分类。首先通过摄像头采集水培大豆叶片图像,对大豆叶片图像进行人工标记,建立大豆叶片图像分割任务的训练集和测试集,通过预训练确定模型的初始参数,并使用较低的学习率训练Mask RCNN模型,训练后的模型在测试集上对背景遮挡的大豆单叶片和多叶片分割的马修斯相关系数分别达到了0.847和0.788。通过预训练确定模型的初始参数,使用训练全连接层的方法训练VGG16模型,训练的模型在测试集上的分类准确率为89.42%。通过将特征明显的叶片归类为两类缺氮特征和4类缺磷特征,分析讨论了模型的不足之处。本文算法检测一幅100万像素的图像平均运行时间为0.8 s,且对复杂背景下大豆叶片缺素分类有较好的检测效果,可为农业自动化生产中植株缺素情况估计提供技术支持。     

基于Mask-RCNN的自然场景下油茶果目标识别与检测

针对我国油茶果采摘过程中存在的自动化水平落后、采摘效率低、适采周期短的现状,应用于机器人收获技术的机器视觉技术受限于真实场景中复杂背景干扰从而导致识别精度较低的问题。以自然场景下的油茶果为研究对象,提出一种基于Mask-RCNN的自然场景下油茶果目标识别与检测算法,首先获取油茶果图像并建立数据集,利用ResNet卷积神经网络提取油茶果果实图片的特征,获得果实目标分割结果,再采用RPN对所得到的特征图进行操作,并增加全连接层,提取每个样本mask像素面积,并对目标类别进行预测。利用测试集分别测试油茶果的分割网络模型及目标识别算法,结果表明,网络模型的分割准确率为89.85％,油茶果目标识别的平均检测精度为89.42％,召回率为92.86％。本算法能够自动检测油茶果目标,并有效降低不同光照情况下叶片与花苞遮挡、果实重叠、果实色泽等因素干扰,为自然场景中果实自动化采摘提供可靠的视觉支持。     

茶叶嫩芽机器视觉识别算法研究

针对自主采茶机器人,研究了在茶园自然光环境下如何高效识别茶叶嫩芽。针对自然光条件下采集的茶叶图像含有大量噪声的情况,为了避免一些像素值变化剧烈的像素点,根据分析,最终选用双边滤波去噪算法,对茶叶原始图像进行平滑滤波的同时,还能有效保留图形的边缘等有用信息。采用一种新的基于颜色通道调换的算法来增大茶叶嫩芽和老叶以及环境的对比度,然后提取茶叶的颜色特征,进而分割提取出茶叶嫩芽。实验结果表明:基于颜色通道变换的算法具有高效稳定等优点,能够很好地识别茶叶嫩芽,可以满足自主采茶机器人对茶叶嫩芽识别的要求。该算法为后续自主采茶机器人的研发提供了技术支持。     

基于深度学习的复杂自然环境下桑树枝干识别方法

在复杂自然环境下完成桑树枝干识别是实现桑叶采摘机智能化的关键部分，针对实际应用中光照条件变化多、桑叶遮挡和桑树分枝多等问题，提出一种基于深度学习的复杂自然环境下桑树枝干识别方法。首先，采用旋转、镜像翻转、色彩增强和同态滤波的图像处理方法扩展数据集，以提高模型的鲁棒性，通过Resnet50目标检测网络模型以及相机标定获得照片中所需的桑树枝干坐标，通过试验发现当学习率设置为0.001，迭代次数设置为600时模型的识别效果最优。该方法对于复杂自然环境中的不同光照条件具有良好的适应性，能够对存在多条分支以及被桑叶遮挡的桑树枝干进行识别并获取坐标信息，识别准确率达到87.42%，可以满足实际工作需求。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于约束Delaunay三角网的茶鲜叶几何参数识别

为自动识别不同方位茶鲜叶的几何参数,在鲜叶轮廓点均匀化、稀疏化的基础上,引入约束Delaunay三角网,对叶片区域进行三角剖分,然后根据端点三角形、跨接三角形及交汇三角形的特点,计算叶片中轴线及主干中轴线,据此确定茶鲜叶的方位并对叶片进行排序,与此同时,还计算了每张叶片的长度、宽度、面积以及叶柄间距,提出反映大宗茶原料粗老度的几何特征指标,探讨了质量等级细分的方法。通过对150幅图像中174根茶鲜叶的识别结果表明,识别正确率达94.2%,平均每根鲜叶的处理时间为74.7 ms。     

农业复杂环境下尺度自适应小目标识别算法——以蜜蜂为研究对象

农业生产环境中的目标识别对象常具有分布密集、体积小、密度大的特点,加之农田环境光照多变、背景复杂,导致已有目标检测模型无法取得令人满意的效果。本研究以提高小目标的识别性能为目标,以蜜蜂识别为例,提出了一种农业复杂环境下尺度自适应小目标识别算法。算法克服了复杂多变的背景环境的影响及目标体积较小导致的特征提取困难,实现目标尺度无关的小目标识别。首先将原图拆分为一些较小尺寸的子图以提高目标尺度,将已标注的目标分配到拆分后的子图中,形成新的数据集,然后采用迁移学习的方法重新训练并生成新的目标识别模型。在模型的使用中,为使子图识别结果能正常还原,拆分的子图之间需具有一定的重叠率。收集所有子图的目标识别结果,采用非极大抑制（Non-Maximum Suppression,NMS）去除由于模型本身产生的冗余框,提出一种交小比非极大抑制（Intersection over Small NMS,IOS-NMS）进一步去除子图重叠区域中的冗余框。在子图像素尺寸分别为300×300、500×500和700×700,子图重叠率分别为0.2和0.05的情况下进行验证试验,结果表明：采用SSD（Single Shot MultiBox Detector）作为框架中的目标检测模型,新提出的尺度自适应算法的召回率和精度普遍高于SSD模型,最高分别提高了3.8%和2.6%,较原尺度的YOLOv3模型也有一定的提升。为进一步验证算法在复杂背景中小目标识别的优越性,从网上爬取了不同尺度、不同场景的农田复杂环境下的蜜蜂图像,并采用本算法和SSD模型进行了对比测试,结果表明：本算法能提高目标识别性能,具有较强的尺度适应性和泛化性。由于本算法对于单张图像需要多次向前推理,时效性不高,不适用于边缘计算。     

基于改进YOLO v5s的作物黄化曲叶病检测方法

作物病害的初期快速准确识别是减小作物经济损失的重要保障。针对实际生产环境中,作物叶片黄化曲叶病毒病(Yellow leaf curl virus,YLCV)患病初期无法应用传统图像处理算法通过颜色或纹理特征进行准确和快速识别,并且YOLO v5s通用模型在复杂环境下识别效果差和效率低的问题,本文提出一种集成改进的叶片病害检测识别方法。该方法通过对Plant Village公开数据集中单一患病叶片图像以及实际生产中手机拍摄获取的患病作物冠层图像两种来源制作数据集,并对图像中的患病叶片进行手动标注等操作,以实现在复杂地物背景和叶片遮挡等情况下正确识别目标,即在健康叶片、患病叶片、枯萎叶片、杂草和土壤中准确识别出所有的患病叶片。此外,用智能手机在生产现场拍摄图像,会存在手机分辨率、光线、拍摄角度等多种因素,会导致识别正确率降低等问题,需要对采集到的图像进行预处理和数据增强以提高模型识别率,通过对YOLO v5s原始模型骨干网络重复多次增加CA注意力机制模块（Coordinate attention）,增强YOLO算法对关键信息的提取能力,利用加权双向特征金字塔网络（Bidirectional feature pyramid network,BiFPN）,增强模型不同特征层的融合能力,从而提高模型的泛化能力,替换损失函数EIoU（Efficient IoU loss）,进一步优化算法模型,实现多方法叠加优化后系统对目标识别性能的综合提升。在相同试验条件下,对比YOLO v5原模型、YOLO v8、Faster R-CNN、SSD等模型,本方法的精确率P、召回率R、平均识别准确率mAP0.5、mAP0.5:0.95分别达到97.40%、94.20%、97.20%、79.10%,本文所提出的算法在提高了精确率与平均精度的同时,保持了较高的运算速度,满足对作物黄化曲叶病毒病检测的准确性与时效性的要求,并为移动端智能识别作物叶片病害提供了理论基础。