基于迁移学习的温室番茄叶片水分胁迫诊断方法

为实时诊断番茄叶片水分胁迫程度，提出一种叶片水分胁迫程度的诊断方法，该诊断方法包括2部分：叶片分割和水分胁迫程度分类。采用以ResNet101为特征提取卷积网络的Mask R-CNN网络对背景遮挡的番茄叶片进行实例分割，通过迁移学习将Mask R-CNN在COCO数据集上预训练得到的权重用于番茄叶片的实例分割，保留原卷积网络的训练参数，只调整全连接层。利用卷积网络提取的特征，可将番茄叶片分割视为区分叶片与背景的一个二分类问题，以此来分割受到不同水分胁迫的番茄叶片图像。利用微调后的DenseNet169图像分类模型进行叶片水分胁迫程度分类，通过迁移学习将DenseNet169在ImageNet数据集上预训练得到的权重用于番茄叶片水分胁迫程度的分类，保持DenseNet169卷积层的参数不变，只训练全连接层，并对原DenseNet169全连接层进行了修改，将分类数量从1.000修改为3。试验共采集特征明显的无水分胁迫、中度胁迫和重度胁迫3类温室番茄叶片图像，共2000幅图像，建立数据集，并进行模型训练与测试。试验结果表明，训练后的Mask R-CNN叶片实例分割模型在测试集上对于单叶片和多叶片的马修斯相关系数平均为0.798，分割准确度平均可达到94.37%。经过DenseNet169网络训练的叶片水分胁迫程度分类模型在测试集上的分类准确率为94.68%，与 VGG-19、AlexNet这2种常用的深度学习分类模型进行对比，分类准确率分别提高了5.59、14.68个百分点，表明本文方法对温室番茄叶片水分胁迫程度实时诊断有较好的效果，可为构建智能化的水胁迫分析技术提供参考。     

基于FTVGG16卷积神经网络的鱼类识别方法

针对大多数应用场景中,大多数鱼类呈不规则条状,鱼类目标小,受他物遮挡和光线干扰,且一些基于颜色、形状、纹理特征的传统鱼类识别方法在提取图像特征方面存在计算复杂、特征提取具有盲目和不确定性,最终导致识别准确率低、分类效果差等问题,本文在分析已有的VGG16卷积神经网络良好的图像特征提取器的基础上,使用Image Net大规模数据集上预训练的VGG16权重作为新模型的初始化权重,通过增加批规范层(Batch normalization,BN)、池化层、Dropout层、全连接层(Fully connected,FC)、softmax层,采用带有约束的正则权重项作为模型的损失函数,并使用Adam优化算法对模型的参数进行更新,汲取深度学习中迁移学习理论,构建了FTVGG16卷积神经网络(Fine-tuning VGG16 convolutional neural network,FTVGG16)。测试结果表明:FTVGG16模型在很大程度上能够克服训练的过拟合,收敛速度明显加快,训练时间明显减少,针对鱼类目标很小、背景干扰很强的图像,FTVGG16模型平均准确率为97. 66%,对部分鱼的平均识别准确率达到了99. 43%。     

联合SAM与VGG16的树上柑橘检测方法

为了实现对自然环境下树上柑橘的识别和检测,解决柑橘图像数据采集不便、图像质量差、数量少的问题,为柑橘的机械采摘工作提供一种视觉方案,本文提出了一种联合SAM(Segment Anything Model)与VGG16模型的检测方法。SAM具有良好的泛化能力,在图像分割效果上也达到了柑橘任务的应用要求。图像经过SAM分割后输入到VGG16网络模型中进行分类,而后将分类结果连同位置信息返回到原图上显示出来,实现柑橘目标检测。本文方法旨在进一步解决自然环境下树上柑橘任务需要大量数据集、模型训练时间长、目标分割困难、目标错检等问题。实验结果表明,该方法在模型不经大量训练的情况下能够准确识别在自然环境下的树上柑橘及柑橘小目标,有效节省了数据集制作和模型训练的时间。     

基于卷积神经网络与迁移学习的稻田苗期杂草识别

杂草类别信息获取是实现杂草智能化田间管理的基础,为实现自然光照和大田复杂背景下的稻田苗期杂草自动识别,提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)与迁移学习相结合的稻田苗期杂草识别方法,可将预训练CNN图像分类模型的参数迁移到稻田苗期杂草识别任务。工作时,采集6种稻田苗期杂草图像共928幅,包括鳢肠、丁香蓼、空心莲子草、千金子、野慈姑和稗草,随机选择70%的图像样本作为训练集,剩余30%的图像样本作为测试集。基于3种经典CNN图像分类模型AlexNet、VGG16和GoogLeNet进行参数迁移学习,这3种参数迁移模型对6种稻田苗期杂草测试样本的正确识别率分别为96.40%、97.48%和91.01%。试验结果表明:基于预训练CNN图像分类模型与迁移学习相结合的稻田苗期杂草识别方法切实可行,可为其他农业应用中小样本图像的识别提供参考。     

基于Mask R-CNN的玉米田间杂草检测方法

针对田间复杂环境下杂草分割精度低的问题,提出了基于Mask R-CNN的杂草检测方法。该方法采用残差神经网络Res Net-101提取涵盖杂草语义、空间信息的特征图;采用区域建议网络对特征图进行杂草与背景的初步二分类、预选框回归训练,利用非极大值抑制算法筛选出感兴趣区域;采用区域特征聚集方法(Ro IAlign),取消量化操作带来的边框位置偏差,并将感兴趣区域(Ro I)特征图转换为固定尺寸的特征图;输出模块针对每个Ro I计算分类、回归、分割损失,通过训练预测候选区域的类别、位置、轮廓,实现杂草检测及轮廓分割。在玉米、杂草数据集上进行测试,当交并比(Io U)为0. 5时,本文方法均值平均精度(m AP)为0. 853,优于Sharp Mask、Deep Mask的0. 816、0. 795,本文方法的单样本耗时为280 ms,说明本文方法可快速、准确检测分割出杂草类别、位置和轮廓,优于Sharp Mask、Deep Mask实例分割算法。在复杂背景下对玉米、杂草图像进行测试,在Io U为0. 5时,本文方法 m AP为0. 785,单样本耗时为285 ms,说明本文方法可实现复杂背景下的农田作物杂草分割。在田间变量喷洒试验中,杂草识别准确率为91%,识别出杂草并准确喷雾的准确率为85%,准确喷药的杂草雾滴覆盖密度为55个/cm2,装置对每幅图像的平均处理时间为0. 98 s,满足农药变量喷洒的控制要求。     

基于全卷积神经网络的云杉图像分割算法

以云杉为研究对象提出了应用全卷积神经网络（Fully convolutional networks,FCN）分割图像的算法。利用无人机采集图像,标注470幅云杉图像,其中300幅组成训练集,170幅组成测试集,标注90幅樟子松图像作为附加测试集。以VGG16为基础建立云杉分割FCN模型,利用Tensorflow框架实现和训练网络,通过共享权值和逐渐降低的学习速率,提高FCN模型的训练性能。选择像素精度（PA）、均像素精度（MPA）、均交并比（MIoU）和频权交并比（FWIoU）4个语义分割评价指标评价测试结果。FCN模型分割云杉图像,PA和MPA达到0.86,MIoU达到0.75,FWIoU达到0.76,处理速率达到0.085s/幅,有效地解决了光照变化、云杉个体差异、地面杂草干扰和植株之间粘连的影响。与HSV颜色空间阈值分割以及K均值聚类分割算法比较,FCN模型的MIoU分别提高0.10和0.38。     

基于深度学习的群猪图像实例分割方法

群养饲喂模式下猪群有聚集在一起的习性,特别是躺卧时,当使用机器视觉跟踪监测猪只时,图像中存在猪体粘连,导致分割困难,成为实现群猪视觉追踪和监测的瓶颈。根据实例分割原理,把猪群中的猪只看作一个实例,在深度卷积神经网络基础上建立Pig Net网络,对群猪图像尤其是对粘连猪体进行实例分割,实现独立猪体的分辨和定位。Pig Net网络采用44层卷积层作为主干网络,经区域候选网络(Region proposal networks,RPN)提取感兴趣区域(ROI),并和主干网络前向传播的特征图共享给感兴趣区域对齐层(Region of interest align,ROIAlign),分支通过双线性插值计算目标空间,三分支并行输出ROI目标的类别、回归框和掩模。Mask分支采用平均二值交叉熵损失函数计算独立猪体的目标掩模损失。连续28 d采集6头9. 6 kg左右大白仔猪图像,抽取前7 d内各不同时段、不同行为模式群养猪图像2 500幅作为训练集和验证集,训练集和验证集的比例为4∶1。结果表明,Pig Net网络模型在训练集上总分割准确率达86. 15%,在验证集上准确率达85. 40%。本文算法对不同形态、粘连严重的群猪图像能够准确分割出独立的猪个体目标。将本文算法与Mask R-CNN模型及其改进模型进行对比,准确率比Mask RCNN模型高11. 40个百分点,单幅图像处理时间为2. 12 s,比Mask R-CNN模型短30 ms。     

基于双金字塔网络的RGB-D群猪图像分割方法

为实现群养猪的视觉追踪和行为监测,针对猪舍中仔猪因拥挤堆叠等习性而导致的目标个体粘连、图像分割困难问题,提出基于双金字塔网络的RGB-D群猪图像分割方法。该方法基于实例分割Mask R-CNN框架,在特征提取网络(Res Net101)基础上改进成双金字塔特征提取网络。RGB图像和Depth图像分别提取特征后进行融合,输入区域生成网络得到预选锚(ROI)和共享特征输入Head网络,通过类别、回归和掩模3个分支,输出检测目标的位置和分类结果,实现猪舍场景下群养仔猪粘连区域的有效个体分割。网络模型训练采用2 000组图像样本,按照4∶1比例随机划分训练集和验证集。试验结果表明,双金字塔网络(Feature pyramid networks,FPN)能有效解决颜色相近、个体相似的群猪粘连问题,实现单个仔猪区域的完整分割,分割准确率达89.25%,训练GPU占有率为77.57%,与Mask R-CNN和Pig Net网络分割结果相比,分割准确率和分割速度均有较大提高。双金字塔网络模型对于多种行为状态、不同粘连程度的群猪图像中个体分割都取得了良好效果,模型泛化性和鲁棒性较好,为群养猪的个体自动追踪提供了新的途径。     

基于计算机视觉的土壤镉胁迫生菜叶片污染响应分析

为了实现无损检测生菜叶片中重金属镉的污染程度,以计算机视觉技术为研究手段,结合图像处理方法和特征选择方法,对4个梯度重金属镉胁迫的生菜叶片进行识别。首先利用数码相机获取生菜叶片图像,然后使用K-means聚类算法分割图像,对分割出的目标图像提取图像颜色、形状和纹理特征,共获取46个图像特征。为了使模型更简便和减少数据量,利用基于变量组合的变量重要性分析(VIAVC)和竞争性自适应重加权算法(CARS)对图像特征进行降维。采用偏最小二乘法判别分析(PLS-DA)和随机森林(RF)构建模型,用于生菜镉胁迫程度的识别。结果表明,在7个组合特征模型中,颜色形状纹理融合特征所建立的模型给出了最优结果,测试集分类正确率为92%。用VIAVC和CARS对颜色形状纹理融合特征进行特征选择,发现VIAVC的降维效果优于CARS。使用特征选择的变量建立模型,RF模型的训练集分类正确率和预测集分类正确率均高于PLS-DA,其中,基于VIAVC的RF模型的训练集和预测集分类正确率分别为98.0%和96.0%。可见,基于VIAVC的RF模型在大大降低了特征维数的前提下,能够较好地对不同镉胁迫程度的生菜叶片进行识别。     

基于迁移学习的苹果树叶片病虫害识别方法研究*

为实现苹果树叶片病虫害快速且准确地识别与分类,研究基于迁移学习的多种神经网络模型,对比不同模型在苹果树叶片病虫害识别上的准确度。构建VGG16,ResNet50,Inception V3三种神经网络模型,利用从PlantVillage上获取的4种不同的苹果树叶片图片,分别为苹果黑星病叶片,苹果黑腐病叶片,苹果锈病叶片以及健康苹果叶片。按照8∶1∶1的比例将图片分为训练集,测试集和验证集对模型进行训练。在相同的试验条件下对比分析VGG16,ResNet50和Inception V3的试验结果。三种模型在使用迁移学习技术的情况下对苹果树叶片病虫害识别准确率分别达到97.67%,95.34%和100%。与不使用迁移学习的模型相比,使用迁移学习能够明显提升模型的收敛速度以及准确率,为常见的苹果树病虫害识别提供了新的方法。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于迁移学习和Mask R-CNN的稻飞虱图像分类方法

针对当前稻飞虱图像识别研究中自动化程度较低、识别精度不高的问题,提出了一种基于迁移学习和Mask R-CNN的稻飞虱图像分类方法。首先,根据稻飞虱的生物特性,采用本团队自主研发的野外昆虫图像采集装置,自动获取稻田稻飞虱及其他昆虫图像;采用VIA为数据集制作标签,将数据集分为稻飞虱和非稻飞虱两类,并通过迁移学习在Res Net50框架上训练数据;最后,基于Mask R-CNN分别对稻飞虱、非稻飞虱、存在干扰以及存在黏连和重合的昆虫图像进行分类实验,并与传统图像分类算法(SVM、BP神经网络)和Faster R-CNN算法进行对比。实验结果表明,在相同样本条件下,基于迁移学习和Mask R-CNN的稻飞虱图像分类算法能够快速、有效识别稻飞虱与非稻飞虱,平均识别精度达到0. 923,本研究可为稻飞虱的防治预警提供信息支持。     

基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究

传统的人工种苗表型测量方式存在效率低、主观性强、误差大、破坏种苗等问题，提出了一种使用RGB-D相机的黄瓜苗表型无损测量方法。研制了自动化多视角图像采集平台，布署两台Azure Kinect相机同时拍摄俯视和侧视两个视角的彩色、深度、红外和RGB-D对齐图像。使用Mask R-CNN网络分割近红外图像中的叶片和茎秆，再与对齐图进行掩膜，消除了对齐图中的背景噪声与重影并得到叶片和茎秆器官的对齐图像。网络实例分割结果的类别和数量即为子叶和真叶的数量。使用CycleGAN网络处理单个叶片的对齐图，对缺失部分进行修补并转换为3D点云，再对点云进行滤波实现保边去噪，最后对点云进行三角化测量叶面积。在Mask R-CNN分割得到的茎秆对齐图像中，利用茎秆的近似矩形特征，分别计算茎秆的长和宽，再结合深度信息转换为下胚轴长和茎粗。使用YOLO v5s检测对齐图中的黄瓜苗生长点，利用生长点与基质的高度差计算株高。实验结果表明，该系统具有很好的通量和精度，对子叶时期、1叶1心时期和2叶1心时期的黄瓜苗关键表型测量平均绝对误差均不高于8.59%、R²不低于0.83,可以很好地替代人工测...     

基于Mask R-CNN的柑橘主叶脉显微图像实例分割模型

针对目前植物解剖表型的测量与分析过程自动化低，难以应对复杂解剖表型的提取和识别的问题，以柑橘主叶脉为研究对象，提出了一种基于掩膜区域卷积神经网络(Mask region convolutional neural network, Mask R-CNN)的主叶脉显微图像实例分割模型，以残差网络ResNet50和特征金字塔(Feature pyramid network, FPN)为主干特征提取网络，在掩膜(Mask)分支上添加一个新的感兴趣区域对齐层(Region of interest Align, RoI-Align),提升Mask分支的分割精度。结果表明，该网络架构能够精准地对柑橘主叶脉横切面中的髓部、木质部、韧皮部和皮层细胞进行识别分割。Mask R-CNN模型对髓部、木质部、韧皮部和皮层细胞的分割平均精确率(交并比(IoU)为0.50)分别为98.9%、89.8%、95.7%和97.2%,对4个组织区域的分割平均精确率均值(IoU为0.50)为95.4%。与未在Mask分支添加RoI-Align的Mask R-CNN相比，精度提升1.6个百分点。研究结果表明，Mask R-CN...     

基于MRE-PointNet+AE的绿萝叶片外形参数估测算法

为了准确、高效、自动获取植物叶片外形参数,提出一种基于多分辨率编码点云深度学习网络(MRE-PointNet)和自编码器模型的绿萝叶片外形参数估测算法。使用Kinect V2相机以垂直姿态获取绿萝叶片点云数据,采用直通滤波、分割、点云精简算法对数据进行预处理,通过测定的叶片外形参数反演绿萝叶片几何模型,并计算几何模型的叶长、叶宽、叶面积。将不同参数组合构建的几何模型离散成点云数据输入MRE-PointNet网络,得到几何模型叶片外形参数估测的预训练模型。针对拍摄过程中存在的叶片部分遮挡和噪声问题,采用自编码器网络对点云数据进行二次处理,以几何模型离散的点云数据作为输入,经过编码解码运算得到自编码器的预训练模型,提升了MRE-PointNet网络在遮挡情况下对叶片外形参数估测的鲁棒性。试验共采集300片绿萝叶片点云数据,按照2∶1比例进行划分,以其中200片点云数据作为训练集,对预训练模型MRE-PointNet做模型迁移的参数微调,以剩下的100片点云数据作为测试集,评估模型对绿萝叶片外形参数的估测能力。采用本文算法将外形参数估测值和真实值进行数学统计与线性回归分析,得出叶长、叶宽和叶面积估测的R^2和RMSE分别为0.9005和0.4170 cm、0.9131和0.3164 cm、0.9447和3.8834 cm^2。试验表明,基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测算法具有较高的精确度和实用性。     

基于改进Mask R-CNN的植物表型智能检测算法

针对高通量自动化获取的植物表型性状图像的智能检测问题,采用迁移学习和改进掩膜区域卷积神经网络(Mask R-CNN)设计植物表型智能检测分割算法。首先对残差网络进行优化,并利用特征金字塔网络(FPN)对输入图像进行特征提取;然后调整候选区域提取网络(RPN)中锚框的长宽比例和阈值,并在RoIAlign中通过双线性插值法保留了特征图的空间信息;最后改进Mask检测头,并增加特征融合机制以获得高质量的掩膜。在西瓜突变体生长情况的性状表型数据集上进行训练和检测,得到结果表明：改进后的Mask R-CNN表现出更优的检测性能,与传统Mask R-CNN相比,检测精度提高22%,掩膜准确率提高2.7%,检测时间减少42 ms,为提升农业精准化水平和推动智慧农业发展提供了技术支撑。     

基于非对称混洗卷积神经网络的苹果叶部病害分割

针对苹果叶部病害由于数据集类间样本不均衡和拍摄角度、光照变化等实际成像与环境因素造成的精度低和泛化能力差的问题,本文提出了一种新型的非对称混洗卷积神经网络ASNet。首先,通过在ResNeXt骨干网络中添加改进的scSE注意力机制模块增强网络提取的特征;其次,针对多数叶片病害特征分布相对分散的问题,使用非对称混洗卷积模块代替原始的残差模块来扩大卷积核的感受野和增强特征提取能力,从而提升模型的分割精度和泛化能力;最后,在非对称混洗卷积模块中使用通道压缩和通道混洗的方式弥补了分组卷积造成的通道间关联性不足的缺陷,降低了由于叶部病害类间不均衡导致的传统网络模型精度偏低的问题。在COCO数据集评价指标下,实验结果表明,相比于骨干网络为ResNeXt-50的原始Mask R-CNN模型,本文模型的平均分割精度达到96.8%,提升了5.2个百分点,模型权重文件减小为321MB,减小了170MB。对实地采集和AI Challanger农作物病害分割挑战赛的240幅苹果叶片图像进行测试,结果表明,本文模型ASNet对苹果黑腐病、锈病与黑星病3种病害和健康叶片的平均分割精度达到94.7%。     

基于注意力机制和可变形卷积的鸡只图像实例分割提取

为提高鸡只个体轮廓分割提取的精度和准确度,实现基于机器视觉技术的鸡只行为、健康、福利状态监测等精准畜牧业管理,保证相关监测技术及决策的可靠性,针对叠层笼养环境下肉鸡图像的实例分割和轮廓提取问题,提出一种优化的基于Mask R-CNN框架的实例分割方法,构建了一种鸡只图像分割和轮廓提取网络,对鸡群图像进行分割,从而实现鸡只个体轮廓的提取。该网络以注意力机制、可变形卷积的41层深度残差网络（ResNet）和特征金字塔网络（Feature pyramid networks, FPN）相融合为主干网络,提取图像特征,并经区域生成网络（Region proposal networks, RPN）提取感兴趣区域（ROI）,最后通过头部网络完成鸡只目标的分类、分割和边框回归。鸡只图像分割试验表明,与Mask R-CNN网络相比,优化后网络模型精确率和精度均值分别从78.23%、84.48%提高到88.60%、90.37%,模型召回率为77.48%,可以实现鸡只轮廓的像素级分割。本研究可为鸡只福利状态和鸡只健康状况的实时监测提供技术支撑。