基于BERT字向量和TextCNN的农业问句分类模型分析

【目的】研究不同词向量和深度学习模型组合对农业问句分类结果的影响,为构建农业智能问答系统提供技术支撑。【方法】通过爬虫获取农业种植网等网站的问答数据,选择20000条问句进行人工标注,构建农业问句分类语料库。采用BERT对农业问句进行字符编码,利用文本卷积神经网络（TextCNN）提取问句高维度特征对农业问句进行分类。【结果】在词向量对比实验中,BERT字向量与TextCNN结合时农业问句分类F1值达93.32%,相比Word2vec字向量提高2.1%。在深度学习模型的分类精度对比方面,TextCNN与Word2vec和BERT字向量结合的F1值分别达91.22%和93.32%,均优于其他模型。在农业问句的细分试验中,BERT-TextCNN在栽培技术、田间管理、土肥水管理和其他4个类别中分类F1值分别为86.06%、90.56%、95.04%和85.55%,均优于其他深度学习模型。超参数设置方面,BERT-TextCNN农业问句分类模型卷积核大小设为［3,4,5］、学习率设为5e-5、迭代次数设为5时效果最优,该模型在数据样本不均衡的情况下,对于农业问句的平均分类准确率依然能达93.00%以上,可满足农业智能问答系统的问句分类需求。【建议】通过阿里NLP等开源平台提升数据标注质量;在分类过程中补充词频和文档特征,提高模型分类精度;农业相关政府职能部门加强合作,积极探索农业技术数字化推广和服务新模式。     

基于深度学习的科技文献摘要结构功能识别研究

[目的/意义]科技文献摘要往往由承担特定功能的部分构成,利用深度学习对科技文献摘要结构功能进行识别有助于实现科技文献文本深度分析。[方法/过程]本文将科技文献摘要特征功能识别任务转换为文本分类问题,将结构功能分为“引言-方法 -结果 -结论 （Introduction-Methods-Results-Conclusions,IMRC）”4类,基于摘要句内容及其上下文特征,利用BERT、BERT-Bi LSTM、BERT-TextCNN、ERNIE等模型构建分类器,实现摘要结构功能自动识别。[结果/结论]在eHealth领域3 130篇文献数据集上开展实验,结果表明：ERNIE模型的各项指标均高于其他模型,BERT-TextCNN模型在短句子上效果更好,而BERT-Bi LSTM模型对于长句子的识别效果更好。本研究有助于实现科技文献摘要文本的细粒度功能理解,对文献结构的解析能够服务于科技文献深度挖掘和基于文献的知识发现。     

基于Bi-LSTM的古籍事件句触发词分类方法研究

[目的/意义]开展面向数字人文的古籍触发动词识别及分类研究,对于古籍文本的深层次挖掘和内容揭示具有重大的意义。本文利用深度学习分类算法,探索依据古籍触发词进行事件句文本多元分类的自动化方法。[方法/过程]在构建了典籍事件触发词分类体系和触发词典的基础上,选取4个不同类别的事件句文本作为实验数据,利用Onehot和Tokenizer对类别标签和句子文本进行分别编码后,输入Bi-LSTM模型中训练分类器,并通过调整参数设置了对比实验,采取通用的评价指标分析了分类器的性能。[结果/结论]经过多次训练和调整之后得到的分类器,在测试集的评估中精确度达到了0.95,证明基于深度学习的实验方法和构建的触发词数据集能够有效的帮助我们实现古籍事件句文本的自动化多元分类。     

基于EfficientNet的迁移学习在近代文献图像分类中的应用研究——以上海图书馆《中国近代文献图库》为例

[目的/意义]近代文献中的图像作为重要的历史史料，日益受到人文学者的重视，大规模图像资源的深度标注也随之成为图像数据基础设施建设的重要组成部分，利用深度学习对海量图像进行内容解析是图像研究的新方向。本文的研究目的，是通过基于EfficientNet的迁移学习在近代文献图像分类中的实证研究，解决大规模近代文献图像的自动分类问题，提高其在实际应用中的准确率和效率。[方法/过程]本文的研究方法，是根据近代文献图像中的特征分析，采用7 645张近代文献图像数据集，通过裁切、白平衡、色调分离、仿射变换等图像增强手段串行叠加，提高样本图像的多样性，并通过对深度学习算法的研究，使用微调的简化EfficientNet深度卷积神经网络模型进行迁移学习，最终得到了在近代文献图像分类上表现良好的模型。[结果/结论]本文的研究结论，是根据实验结果发现，该模型有效提高了图像分类效率和分类准确性，对于解决近代文献中大规模图像的自动分类具有一定的推广价值。     

基于实例置信度推断的半监督小样本植物病害图像识别

植物病害影响农业生产的产量和质量。针对现有小样本植物病害识别方法大多数都是基于监督式学习模型以及少数半监督学习方法未判别伪标注样本的可信度的问题,提出一种基于实例置信度推断的半监督学习小样本植物病害图像识别方法。首先构建ResNet-12网络提取有标注样本和无标注样本的特征;其次利用极少数有标签的植物病害样本训练SVM分类器,用分类器推断无标注样本的类别并赋予伪标签;然后采用实例置信度推断(ICI)算法获取伪标注样本的置信度,迭代选择可信的伪标签样本加入训练拓展支持集;最后应用训练后的网络模型对植物病害图像进行识别。该方法能够反映无标注病害样本的真实分布,迭代选择最可信的伪标注样本进行模型训练,从而提高模型的识别性能。试验采用Plant Village公开数据集进行10-way-5-shot试验。结果显示：在unlabel=50的情况下识别准确率为89.34%,病害的各项评价指标均随着无标注样本数量的增加而增加。结果表明本研究提出的方法从无标注样本中获取到的信息是鲁棒的,且识别准确率优于传统迁移学习,能有效提升小样本条件下植物病害图像的识别效果。     

古农文语义检索模型构建及其应用研究

[目的/意义]构建能实现以白话文作为查询，系统自动返回与输入最相关的古农文段落的语义检索模型，为学者提供更加便利的古代农业知识检索方式和古代农业知识溯源方式。[方法/过程]使用基于四库全书作为训练语料的Siku BERT作为基础模型，基于对比学习的方法，使用自建的古农文数据集对模型进行继续训练，得到能够支持使用白话文作为查询，返回与查询语义最相似的古农文段落的语义检索模型。[结果/结论]古农文语义检索模型的Spearman系数在测试集上的表现能够达到86.51%，较基线模型在测试集上的表现83.69%有一定程度的提升，在自建的古农文检索测试集上的召回情况（recall@k）较基线模型有一定程度提升，模型在古农文上能够有比较好的检索效果。但受限于古农文训练语料规模，模型的训练效果还有很大提升空间。     

基于改进DeepLab v3+模型和迁移学习的高分遥感耕地信息提取方法

针对实际遥感耕地信息提取工作中，多源数据特征复杂、样本标注工作繁重等导致高空间分辨率影像解译精度不高、自动化程度不够的问题，本研究基于DeepLab v3+模型，提出一种融合邻域边缘加权模块(NEWM)和轴向注意力机制模块(CBAM-s)的卷积网络模型DEA-Net,结合迁移学习方法进行高分辨率遥感影像耕地信息提取。首先，在浅层网络结构中加入邻域边缘加权模块，提升高分辨率下地物的连续性，细化边缘分割粒度；其次，在深层网络结构中添加轴向注意力机制模块，增加细小地物的关注权重，减少深度卷积导致地物丢失的情况；最后，采用迁移学习的思想，降低样本标注工作量，提高模型学习能力。利用高分卫星土地覆盖数据集(GID)数据构建源域数据集进行模型预训练，将获取的模型参数及权重信息迁移至大数据与计算智能大赛(BDCI)遥感影像地块分割竞赛数据集和全国人工智能大赛(NAIC)遥感影像数据集制作的2种不同目标域数据集中，微调训练后应用于耕地信息提取研究。结果表明，本研究构建方法能够增强模型的空间细节学习能力，提高耕地语义分割精度的同时，降低2/3以上的训练样本数量，为遥感耕地信息提取及农业数据智能化利用提供新...     

基于主动学习隐马尔可夫模型的文本信息抽取

对只能获得部分标记的训练文本,将主动学习方法应用到文本信息抽取中,提出了一种基于主动学习隐马尔可夫模型的文本信息抽取方法.在该方法中,通过主动学习,仅将对隐马尔可夫模型的训练最有价值的训练文本挑选出来进行标记.实验表明,通过选择模型信任值的最佳门槛值,该方法在保证文本信息抽取性能的前提下,大大减少了用户标记训练文本的工作量.     

基于改进文本表示的农产品贸易摩擦新闻文本聚类及应用展望

传统文本表示方法应用于农产品贸易摩擦新闻文本上,数据维度高、稀疏性较大、结构信息和语义信息表达不充分,会造成文本聚类时间复杂度和计算复杂度较大等问题。为解决这些问题,在Word2Vec词向量表示方法的基础上,结合TF-IDF表示新闻文本,提出基于关键词文本表示矩阵KTRM方法,通过深度学习聚类DEC模型进行文本聚类。在有标注的新闻语料上进行包括参数调节实验、文本表示方法对比实验和聚类方法对比实验,并应用于实际的农产品贸易摩擦新闻文本。结果表明,该方法聚类精度ACC及标准化互信息NMI均有显著提高,验证了该方法的有效性。最后,对该方法的应用前景进行了展望。     

基于深度学习服务的遥感影像农作物分类系统设计

【目的】深度学习在图像分类方面效果显著,但对机器的硬件配置要求高,将深度学习的技术应用于作物分类的同时,降低客户端的IT成本,开发基于深度学习服务的遥感影像农作物分类系统。【方法】系统采用C/S架构,服务器端部署Caffe的深度学习框架,通过PaaS提供计算服务,统一处理客户端模型训练、影像分类等任务;客户端提供用户界面,负责数据输入、结果解析和可视化操作;客户端和服务器之间通过异步RPC实现网络通信,利用FTP进行数据的上传和下载;考虑到农作物分类在实际应用中的时效性,系统还提供了一个简化的Alexnet模型,在保证分类精度的前提下加速了模型的收敛速度。【结果】通过对采集的428144个农作物样本数据集的应用表明,服务器训练的时间比单机训练缩短了近3倍,该系统不仅能够快速地完成深度学习模型训练的任务,还能实时准确得到遥感影像的农作物分类结果。【结论】该研究进一步推动了深度学习在农业分类方面的应用,同时为遥感技术在农业应用中的发展、农作物面积统计工作和对农业资源进行优化配置提供了重要的科学指导。     

基于迁移学习的竹片缺陷识别

使用竹片图像实现竹片缺陷自动识别，目前深度学习可以有效地解决该类问题，但是必须使用大量样本数据做训练才能获得较高的识别准确率。当图像数量有限时，利用基于迁移学习的方法，把经过预训练的卷积神经网络模型进行迁移，即共享卷积层和池化层的权重参数，调整新网络模型的超参数，并建立一个包含4种共计6 360张竹片缺陷图像的数据库，把图片分成4种训练集测试集形式，即80%训练、20%测试；60%训练、40%测试；40%训练、60%测试；20%训练、80%测试，分别利用支持向量机SVM分类方法、深度学习方法和迁移学习方法进行训练和测试，并将这3种方法作对比。最后，通过构建竹片缺陷识别的混淆矩阵对迁移学习进行具体分析与说明。结果表明，按照80%训练、20%测试的识别准确率最高，通过迁移学习得到的竹片缺陷最高识别精度分别达到98.97%，比普通深度学习提高了11.55% ，比SVM分类方法提高了13.04%。说明迁移学习比普通深度学习和传统支持向量机SVM分类方法更适合用于小样本数据集的分类识别，并且效果优于普通深度学习和 SVM 分类方法。     

深度学习在大豆叶片图像数据管理中的识别与分类研究

[目的/意义]为了提高大豆叶片图像的分类精度与效率,进一步对大豆叶片图像进行存储与管理。[方法/过程]本文利用深度学习方法,针对肉眼观察准确率较低且不同人群分类结果差异较大的大豆叶片图像数据提出了一种自动分类方法。本研究首先对大豆叶片进行ROI感兴趣区域划分,进而利用分水岭分割方法对大豆叶片进行提取,最后通过深度学习高效精确的实现了大豆叶片的分类识别。[结果/结论]通过分析大豆叶片形态图像特点后,基于深度学习开展了对大豆叶片形态的分类识别的研究,达到了较高的识别准确率。     

基于凸壳的在线单类学习机

传统的基于支持向量机的单类分类器因计算复杂度高而无法满足大规模数据实时处理的需求,在线学习方法为解决该问题提供了一种有效途径.本文在挖掘样本数据在特征空间分布性状的基础上,提出了一种基于凸壳的在线单类学习机(One-class Online Classifier based on Convex Hull,OOCCH).该方法首先使用凸壳的定义选择能代表特征空间中数据分布的凸壳向量对应的原始样本作为训练样本来缩减训练集的规模;其次在分类器在线更新阶段利用凸壳向量动态地调整分类器的训练样本.理论分析证明了OOCCH的有效性,与现有的在线单类分类器的实验比较,OOCCH在训练时间和分类性能方面有显著优势.     

改进的图半监督支持向量机用于P2P网络流识别

对于机器学习在P2P网络流识别中需要大量标记训练数据的问题，提出一种基于改进图半监督支持向量机的P2P流识别方法。采用自动调节的高斯核函数计算少量标识数据和大量未标识训练样本之间的相似距离以构建图模型，并在标记传播过程中嵌入训练样本局部分布信息以获取未标记样本的标识；在此基础上使用所有已标记样本对SVM训练实现P2P网络流识别。实验结果表明该方法能够兼顾整个训练样本集的信息，在提高SVM识别精度的同时，极大降低了人工标记训练样本的成本。     

一种增量式贝叶斯分类的算法

自动分类是数据挖掘和机器学习中非常重要的研究领域。针对难以获得大量有类标签的训练集问题,提出了基于小规模训练集的增量式贝叶斯Bayes分类,给出增量式Bayes分类机理参数计算及其算法。对算法分两种情况处理,第一种情况是新增样本有类别标签,利用现有分类器检验其类标签,如果匹配则保留当前分类器,否则利用新样本修正分类器;第二种情况是新增样本无类别标签,则利用现有分类器为其训练类标签,然后利用新样本来修正分类器。试验结果表明,该算法是可行有效的,比Naive Bayes分类算法有更高的精度。增量式Bayes分类算法的提出为分类器的更新提供了一条新途径。     

基于高光谱与在线序列极限学习机确证大米产地方法

为满足快速无损的大米产地确证需求，采集吉林省梅河口市水稻主产区及松原、大安、辉南等其他水稻产区共990个大米样本的高光谱图像（400~1 000 nm）作为研究对象，利用多元散射校正（MSC）处理方法对光谱进行预处理。采用多层感知机（MLP）、极限学习机(ELM)与在线序列极限学习机(OS-ELM)算法，分别基于全波段高光谱数据以及经多维尺度分析（MDS）方法降维后的数据建立产地确证模型。结果表明，基于全波段高光谱数据的OS-ELM模型分类性能最好，准确率达到98.3%。经MDS处理后，输入的数据变量减少了96.6%，MDS-OS-ELM模型准确率稳定在97.4%。对三种模型的训练时间进行对比分析，OS-ELM训练时间明显优于MLP，在分批次获取数据时训练时间优于ELM。为大米产地确证提供了一种高效、准确、稳定的方法。     

基于高光谱与在线序列极限学习机确证大米产地方法

为满足快速无损的大米产地确证需求，采集吉林省梅河口市水稻主产区及松原、大安、辉南等其他水稻产区共990个大米样本的高光谱图像（400~1 000 nm）作为研究对象，利用多元散射校正（MSC）处理方法对光谱进行预处理。采用多层感知机（MLP）、极限学习机(ELM)与在线序列极限学习机(OS-ELM)算法，分别基于全波段高光谱数据以及经多维尺度分析（MDS）方法降维后的数据建立产地确证模型。结果表明，基于全波段高光谱数据的OS-ELM模型分类性能最好，准确率达到98.3%。经MDS处理后，输入的数据变量减少了96.6%，MDS-OS-ELM模型准确率稳定在97.4%。对三种模型的训练时间进行对比分析，OS-ELM训练时间明显优于MLP，在分批次获取数据时训练时间优于ELM。为大米产地确证提供了一种高效、准确、稳定的方法。     

基于图像处理和深度迁移学习的芒果果实病状识别

目的 基于计算机层析成像(Computed tomography, CT)设备所得芒果CT序列图像,实现芒果内部品质的无损检测和病状识别分类。方法 利用分段函数法、中值滤波结合双边滤波,实现芒果图像增强;采用局部自适应阈值法,实现二值化处理;采用种子填充法进行区域填充;最后通过差影法准确提取芒果果实内部组织的坏损区域。基于深度迁移学习模型,对未处理和已处理的芒果图像数据开展训练和测试,通过AlexNet和GoogLeNet深度学习网络开展迁移学习,调整超参数完成训练过程的网络微调,在不同模型中对比未处理和已处理的芒果测试集在模型上的分类结果。结果 基于未处理数据集,GoogLeNet模型在学习率为0.0002下训练,Accuracy和Macro-average指标分别为98.79%和98.41%。基于已处理数据集,GoogLeNet模型在学习率为0.0002下训练,Accuracy和Macro-average指标分别为100%和100%。深度迁移学习模型在已处理数据集下的模型分类指标较未处理的数据集下有较大的提升。基于同一数据集且超参数一致时,GoogLeNet网络的分类效果明显优于AlexNet网络。结论 设定学习率为0.0002、迭代轮数为3、最小批值为64,基于GoogLeNet网络开展深度迁移学习训练,将所得模型作为最终的分类模型。