基于BERT-Attention-DenseBiGRU的农业问答社区问句相似度匹配

为了解决问答社区中相同语义问句文本的快速自动检测,提出一种基于BERT的Attention-DenseBiGRU农业问句相似度匹配模型.针对农业文本具备的特征,采用12层的中文BERT文本预训练模型对文本数据进行向量化处理,并与Word2Vec、Glove、TF-IDF方法进行对比分析,得出BERT方法能够有效地解决农...     

基于多语义特征的农业短文本匹配技术

“中国农技推广APP”农业问答社区存在提问数据量大、规范性差、涉及面广、噪声多、特征稀疏等影响文本语义匹配的问题,为了改善农业提问数据相似性判断的性能,提出了融合多语义特征的文本匹配模型Co＿BiLSTM＿CNN,从深度语义、词语共现、最大匹配度3个层面提取短文本特征,并利用共享参数的孪生网络结构,分别运用双向长短期记忆网络、卷积神经网络和密集连接网络构建文本匹配模型。试验结果表明,该模型可以更全面提取文本特征,文本相似性判断的正确率达94.15%,与其他6种模型相比,文本匹配效果优势明显。     

基于Attention_DenseCNN的水稻问答系统问句分类

为了解决“中国农技推广APP”问答社区中水稻提问数据快速自动分类的问题,提出一种基于Attention_DenseCNN的水稻文本分类方法。根据水稻文本具备的特征,采用Word2vec方法对文本数据进行处理与分析,并结合农业分词词典对文本数据进行向量化处理,采用Word2vec方法能够有效地解决文本的高维性和稀疏性问题。对卷积神经网络（CNN）上下游卷积块之间建立一条稠密的链接,并结合注意力机制（Attention）,使文本中的关键词特征得以充分体现,使文本分类模型具有更好的文本特征提取精度,从而提高了分类精确率。试验表明：基于Attention_DenseCNN的水稻问句分类模型可以提高文本特征的利用率、减少特征丢失,能够快速、准确地对水稻问句文本进行自动分类,其分类精确率及F1值分别为95.6%和94.9%,与其他7种神经网络问句分类方法相比,分类效果明显提升。     

基于卷积模型的农业问答语性特征抽取分析

互联网农技推广社区每秒增衍问答数据近万组,这些海量数据具有隐性的词性、情感和冗余向量特征,实现数据聚合与数据块消减是该领域的难题。提出了一种基于卷积神经网络的农业问答情感极性特征抽取分析模型,结合农业分词字典,对数据集进行分词后使用Skip-gram模型转换为256维的词向量,利用批规范后的卷积神经网络对数据集进行训练,从而得到用于识别农技推广社区问答词性情感相似性的神经网络模型参数。试验结果表明,该方法能够准确识别测试样例集中的冗余队列,与其他5种文本分类方法进行比较,各项指标优势明显,针对测试集的语性特征抽取准确率达到82.7%。     

基于BiGRU_ MulCNN的农业问答问句分类技术研究

"中国农技推广"问答社区每天新增提问数据近万条,对提问的有效分类是实现智能问答的关键技术环节。海量提问数据具有特征稀疏性强、噪声大、规范性差的特点,制约了文本分类效果。为了改善农业问答问句短文本分类性能,提出了BiGRU_MulCNN分类模型,运用TF-IDF算法拓展文本特征,并加权表示文本词向量,利用双向门控循环单元神经网络获取输入词向量的上下文特征信息,构建多尺度并行卷积神经网络,进行多粒度的特征提取。试验结果表明,基于混合神经网络的短文本分类模型可以优化文本表示和文本特征提取,能够准确地对用户提问进行自动分类,正确率达95. 9%,与其他9种文本分类方法相比,分类性能优势明显。     

基于BIGRU的番茄病虫害问答系统问句分类研究

问句分类作为问答系统的关键模块,对系统检索效率具有决定性作用。为了对番茄病虫害智能问答系统用户问句进行高效分类,构建了基于word2vec和双向门控循环单元神经网络(Bi-directional gated recurrent unit,BIGRU)的番茄病虫害问句分类模型。针对问答系统对用户问句的语义信息有较高要求的特点,首先利用word2vec将句子中的词转换为具有语法、语义信息的词向量,利用训练得到的词向量和BIGRU神经网络进行问句分类模型的训练。实验选取了2 000个番茄病虫害相关的用户问句,主要分为番茄病害和番茄虫害两类。结果表明,采用BIGRU的番茄病虫害问句分类模型,其分类准确率、召回率和准确率与召回率的调和平均值F1分别高于卷积神经网络(CNN)、K最近邻等分类算法2~5个百分点。BIGRU模型结构简单,模型训练参数较少,模型训练速度快,符合问答系统对响应时间的要求。     

基于SBERT-Attention-LDA与ML-LSTM特征融合的烟草问句意图识别方法

针对烟草领域中问句意图识别存在的特征稀疏、术语繁多和捕捉文本内部的语义关联困难等问题,提出了一种基于SBERT-Attention-LDA(Sentence-bidirectional encoder representational from transformers-Attention mechanism-Latent dirichlet allocation)与ML-LSTM(Multi layers-Long short term memory)特征融合的问句意图识别方法。该方法首先基于SBERT预训练模型和Attention机制对烟草问句进行动态编码,转换为富含语义信息的特征向量,同时利用LDA模型建模出问句的主题向量,捕捉问句中的主题信息;然后通过更改后的模型级特征融合方法ML-LSTM获得具有更为完整、准确问句语义的联合特征表示;再使用3通道的卷积神经网络(Convolutional neural network,CNN)提取问句混合语义表示中隐藏特征,输入到全连接层和Softmax函数中实现对问句意图的分类。基于烟草行业权威网站上获取的数据集开展了实验验证,实验结果表明,所提方法相比其他几种深度学习结合注意力机制的方法精确率、召回率和F1值上有显著提升,与BERT和ERNIE(Enhanced representation through knowledge integration and embedding)-CNN模型相比提升明显,F1值分别提升2.07、2.88个百分点。     

基于层级多标签的农业病虫害问句分类方法

随着信息化技术的快速发展,农户通过线上智能农业问答系统解决线下农业病虫害问题已成为趋势。问句分类在问答系统中发挥着至关重要的作用,其准确性直接决定了最终返回答案的正确性。传统的单标签文本分类模型难以直接准确捕捉到农业病虫害问句的确切意图,而且由于缺乏大规模公开的农业病虫害问句语料,使得现有研究具有一定的难度。为此,本文基于树状结构构建了一个农业病虫害问句层级分类体系,由问句模糊性向精确性逐层细化分类,旨在克服农业问句的语义复杂性;此外,引入对抗训练方法,通过构建对抗样本并将其与原始样本一同用于大规模语言模型的训练,以提高模型泛化能力,同时缓解了因语料不足而产生的问题。通过对真实问答语料库的实验验证,本文提出的方法能够提升农业病虫害问句的分类性能,可为农业病虫害自动问答系统提供有效的问句意图识别。     

基于LSTM的食品安全自动问答系统方法研究

为高效、准确、全面获取食品安全相关信息,以食品安全文本为研究对象,采用Lucene全文检索架构和长短期记忆神经网络(Long short-term memory,LSTM)构建了食品安全自动问答系统。依托于从互联网爬取的文本作为非结构化数据集,利用检索架构扩充人工标注的问题答案对规模,并以此训练了可以判断问题和答案候选句匹配程度的LSTM模型。基于Lucene检索机制进行答案候选集提取和基于LSTM模型进行答案提取,构建了一个可根据食品安全相关问题给出答案所在句子的问答系统,并对比了基于Lucene直接检索的答案抽取和基于LSTM的答案抽取这两种方法。结果表明,当候选文档数量增加时,基于LSTM模型的问题答案匹配方法,其平均准确度始终高于基于Lucene检索方法的平均准确度;而候选句子数量较小时,基于LSTM模型的问题答案匹配方法的平均准确度也高于基于Lucene检索方法的平均准确度。     

基于深度学习的烟草垄行分割模型

基于图像金字塔的分割算法存在分割边界不明显、区域较窄的人工结构图象分割不足、不能确定具体类别的问题,若图像中包含着其他的背景信息,此种算法就不能很好地进行分割。基于卷积神经网络搭建烟草垄行的语义分割,可更好地区分背景,此垄行语义分割的卷积神经网络模型使用了宽度卷积来压缩各卷积层的可训练参数,类间平衡技术训练,并使用PReLU激活函数为宽度卷积提供非线性输出。此模型相对于Segnet模型处理测试集图像平均每幅耗时降低46.9%,像素准确率提高28.6%。     

基于深度卷积神经网络的水稻知识文本分类方法

为解决文本特征提取不准确和因网络层次加深而导致模型分类性能变差等问题,提出基于深度卷积神经网络的水稻知识文本分类方法.针对水稻知识文本的特点,采用Word2Vec方法进行文本向量化处理,并与One-Hot、TF-IDF和Hashing方法进行对比分析,得出Word2Vec方法具有较高的分类精度,正确率为86.44％,能...     

基于注意力机制的农业文本命名实体识别

针对农业智能问答系统构建过程中传统的农业命名实体识别方法依赖人工特征模板、特征信息提取不充分、实体名称多样导致标注不一致等问题,提出一种基于注意力机制的农业文本命名实体识别方法.采用连续词袋模型(Continuous bag of words,CBOW)对输入字向量进行预训练,丰富字向量特征信息,缓解分词准确度对性能的...     

基于注意力机制和特征融合的葡萄病害识别模型

植物病害是造成农作物减产的主要原因之一。针对传统的人工诊断方法存在成本高、效率低等问题，构建了一个自然复杂环境下的葡萄病害数据集，该数据集中的图像由农民在实际农业生产中拍摄，同时提出了一个新的网络模型MANet,该模型可以准确地识别复杂环境下的葡萄病害。在MANet中嵌入倒残差模块来构建网络，这极大降低了模型参数量和计算成本。同时，将注意力机制SENet模块添加到MANet中，提高了模型对病害特征的表示能力，使模型更加注意关键特征，抑制不必要的特征，从而减少图像中复杂背景的影响。此外，设计了一个多尺度特征融合模块(Multi-scale convolution)用来提取和融合病害图像的多尺度特征，这进一步提高了模型对不同病害的识别精度。实验结果表明，与其他先进模型相比，本文模型表现出了优越的性能，该模型在自建复杂背景病害数据集上的平均识别准确率为87.93%,优于其他模型，模型参数量为2.20×10⁶。同时，为了进一步验证该模型的鲁棒性，还在公开农作物病害数据集上进行了测试，该模型依然表现出较好的识别效果，平均识别准确率为99.65%,高于其他模型。因此，本文模型...     

基于语义融合与模型蒸馏的农业实体识别

当前农业实体识别标注数据稀缺,部分公开的农业实体识别模型依赖手工特征,实体识别精度低。虽然有的农业实体识别模型基于深度学习方法,实体识别效果有所提高,但是存在模型推理延迟高、参数量大等问题。本研究提出了一种基于知识蒸馏的农业实体识别方法。首先,利用互联网的海量农业数据构建农业知识图谱,在此基础上通过远程监督得到弱标注语料。其次,针对实体识别的特点,提出基于注意力的BERT层融合模型（BERT-ALA）,融合不同层次的语义特征;结合双向长短期记忆网络（BiLSTM）和条件随机场CRF,得到BERT-ALA+BiLSTM+CRF模型作为教师模型。最后,用BiLSTM+CRF模型作为学生模型蒸馏教师模型,保证模型预测耗时和参数量符合线上服务要求。在本研究构建的农业实体识别数据集以及两个公开数据集上进行实验,结果显示,BERT-ALA+BiLSTM+CRF模型的macro-F1相对于基线模型BERT+ BiLSTM+CRF平均提高1%。蒸馏得到的学生模型BiLSTM+CRF的macro-F1相对于原始数据训练的模型平均提高3.3%,预测耗时降低了33%,存储空间降低98%。试验结果验证了基于注意力机制的BERT层融合模型以及知识蒸馏在农业实体识别方面具有有效性。     

农业病虫害知识问答意图识别与槽位填充联合模型研究

农业病虫害领域的意图识别和槽位填充研究仍处于起步阶段,除语料严重匮乏外,还面临任务相互独立、忽略彼此相关性和未充分利用意图嵌入信息等问题。为此,提出了一种基于意图嵌入信息和槽位门控机制的意图识别与槽-位填充联合模型(AgIG-IDSF)。首先,该模型在共享编码模块引入了注意力机制用于丰富上下文语义特征;其次,提出了一种融合意图嵌入表示和槽位门控机制的意图-槽位交互方法用以增强意图信息指导槽位填充任务的能力,进而提高模型的整体识别性能。在包含22个意图类别、10个槽位类别和11 976条标注样本的自构建语料上进行了实验。结果表明,在该语料上AgIG-IDSF模型的意图识别准确率为94.41%,槽位填充F1值为94.01%,整体识别准确率高达88.07%,显著优于包含双向关联模型在内的多种基准模型,表明了该模型在识别农业病虫害意图与槽位方面的有效性。此外,在公共数据集上的实验结果还表明了该模型具有一定的泛化能力。     

基于注意力机制和边缘感知的田梗提取模型

田埂精确提取是数字化农业管理的重要前提。针对由于遮挡、斑秃等因素干扰,给基于语义分割方法提取田埂带来困难问题,提出一种基于注意力机制和边缘感知模块的U-Net网络实现田埂提取。首先,将多信息注意力引入U型分割网络的下采样中,增强相邻层之间的上下文信息,提升对田埂区域语义特征的表示能力。其次,将边缘感知分割模块应用至U-Net解码部分的每一层,在不同语义特征层提取田埂边缘信息,提高田埂区域语义分割精度。最后,联合边缘感知损失与语义分割损失构建联合损失函数,用于整体网络优化。通过对安徽省淮北市濉溪县小麦基地采集的无人机麦田数据集进行训练和模型验证,实验结果表明,本文模型语义分割像素准确率高达95.57%,平均交并比达到77.48%。     

基于改进MobileNetV3的水稻病害识别模型

针对水稻病害识别方法准确度低、模型收敛速度缓慢的问题,本文提出了一种高性能的轻量级水稻病害识别模型,简称为CA（Coordinate attention）-MobileNetV3。通过微调的迁移学习策略完善了模型的训练,提升了模型收敛速度。首先创建10个种类的数据集,其中包含9种水稻病害和1种水稻健康叶片。其次使用CA模块,在通道注意力中嵌入空间坐标信息,提高模型的特征提取能力与泛化能力。最后,将改进后的MobileNetV3网络作为特征提取网络,并加入SVM多分类器,提高模型精度。实验结果表明,在本文构建的水稻病害数据集上,初始的MobileNetV3识别准确率仅为95.78%,F1值为95.36%;加入CA模块后识别准确率和F1值分别提高至96.73%和96.56%;再加入SVM多分类器,通过迁移学习后,改进模型的识别准确率和F1值分别达到97.12%和97.04%,参数量和耗时仅为2.99×106和0.91s,明显优于其他模型。本文提出的CA-MobileNetV3水稻病害识别模型能够有效识别水稻叶部病害,实现了轻量级、高性能、易部署的水稻病害分类识别算法。