基于Bi-LSTM的古籍事件句触发词分类方法研究

[目的/意义]开展面向数字人文的古籍触发动词识别及分类研究,对于古籍文本的深层次挖掘和内容揭示具有重大的意义。本文利用深度学习分类算法,探索依据古籍触发词进行事件句文本多元分类的自动化方法。[方法/过程]在构建了典籍事件触发词分类体系和触发词典的基础上,选取4个不同类别的事件句文本作为实验数据,利用Onehot和Tokenizer对类别标签和句子文本进行分别编码后,输入Bi-LSTM模型中训练分类器,并通过调整参数设置了对比实验,采取通用的评价指标分析了分类器的性能。[结果/结论]经过多次训练和调整之后得到的分类器,在测试集的评估中精确度达到了0.95,证明基于深度学习的实验方法和构建的触发词数据集能够有效的帮助我们实现古籍事件句文本的自动化多元分类。     

基于局部化双向LSTM和状态转移约束的养殖水质分类预测

养殖水质对水产养殖的产出和收益具有非常重要的影响,提前预测水质状况可以提高治理水平,从而减少水产养殖的损失。以南美白对虾(俗称白肢虾)日常养殖水质为研究对象,选取温度(T)、pH、溶氧(DO)、盐度、氧化还原电位(ORP)、亚硝酸盐氮(NO^-_2-N)和氨氮(NH^+_4-N)作为水质数据特征,提出基于局部化双向LSTM(CovBiLSTM)和状态转移约束的水质预测模型(CovBiLSTMST)。首先使用双向LSTM网络接收历史水质数据序列信息的输入,然后利用卷积函数和最大池化技术(Max pooling)来挖掘双向LSTM网络不同单元输出数据之间的关系,对历史不同时间的水质数据进行融合,最后采用Softmax分类器来预测水质状况,同时利用状态转移约束条件来提高预测的准确率。通过对比试验,分别证明了局部双向化LSTM和状态转移约束对水质预测的有效性。与基于LSTM的预测方法相比,评价指标分类准确率和召回率分别提高5%和4%。研究表明:基于局部化双向LSTM(CovBiLSTM)网络模型的水质预测算法比基于其他模型的预测算法能更准确预测南美白对虾的水质状况。     

基于改进Bi-LSTM-CRF的农业问答系统研究#br# #br#

针对农业领域问答系统面临的实体识别困难的问题,提出一种基于改进Bi-LSTM-CRF的实体识别方法。首先通过BERT预训练模型的预处理,生成基于上下文信息的词向量,然后将训练出的词向量输入Bi-LSTM-CRF做进一步的训练处理,最后,利用Python的Django框架设计农业领域的实体识别、实体查询、农知问答等子系统。经过试验对比,所提出的改进的Bi-LSTM-CRF在农业信息领域具有更好的实体识别能力,在农业信息语料库上的精确率、召回率和F1值分别为93.23%、91.08%和92.16%。实现农业领域实体识别和农业信息问答的知识图谱网站演示,对农业信息化的发展具有重要意义。     

结合知识图谱与双向长短时记忆网络的小麦条锈病预测

针对现有小麦条锈病预测方法没有利用病害发生因素之间的语义信息,存在预测难度大、准确率低等问题,利用知识图谱(Knowledge Graph, KG)和双向长短时记忆网络(Bi-directional Long Short-Term Memory, Bi-LSTM)处理多源异构复杂数据的各自优势,提出一种基于KG与Bi-LSTM结合的小麦条锈病预测方法。首先,构建小麦条锈病知识图谱,将与小麦条锈病发生相关的环境信息转换为特征向量;其次,利用特征向量训练Bi-LSTM模型,得到基于Bi-LSTM的小麦条锈病预测模型;最后,利用小麦条锈病数据库数据进行试验。结果表明,KG丰富了进行病害预测所描述的语义信息,提升了Bi-LSTM提取高层病害预测特征的能力,从而提高了病害预测的准确率。在小麦条锈病数据库上的预测准确率达到93.21%,比基于Bi-LSTM的病害预测方法提高了4.5个百分点。该方法能较好预测小麦条锈病,为小麦条锈病的预报预警和综合防治提供科学依据。     

基于语义融合与模型蒸馏的农业实体识别

当前农业实体识别标注数据稀缺,部分公开的农业实体识别模型依赖手工特征,实体识别精度低。虽然有的农业实体识别模型基于深度学习方法,实体识别效果有所提高,但是存在模型推理延迟高、参数量大等问题。本研究提出了一种基于知识蒸馏的农业实体识别方法。首先,利用互联网的海量农业数据构建农业知识图谱,在此基础上通过远程监督得到弱标注语料。其次,针对实体识别的特点,提出基于注意力的BERT层融合模型（BERT-ALA）,融合不同层次的语义特征;结合双向长短期记忆网络（BiLSTM）和条件随机场CRF,得到BERT-ALA+BiLSTM+CRF模型作为教师模型。最后,用BiLSTM+CRF模型作为学生模型蒸馏教师模型,保证模型预测耗时和参数量符合线上服务要求。在本研究构建的农业实体识别数据集以及两个公开数据集上进行实验,结果显示,BERT-ALA+BiLSTM+CRF模型的macro-F1相对于基线模型BERT+ BiLSTM+CRF平均提高1%。蒸馏得到的学生模型BiLSTM+CRF的macro-F1相对于原始数据训练的模型平均提高3.3%,预测耗时降低了33%,存储空间降低98%。试验结果验证了基于注意力机制的BERT层融合模型以及知识蒸馏在农业实体识别方面具有有效性。     

基于Bi-LSTM模型的时间序列遥感作物分类研究

【目的】及时、准确地作物分类制图是农情监测的重要依据。本研究基于双向长短期记忆网络模型探究深度学习技术在时间序列遥感作物分类与早期识别中的应用潜力。【方法】本文以黄河三角洲地区为例，以哨兵2号全年可用卫星影像为数据源，构建年时间序列NDVI数据集;采用循环神经网络构架，搭建针对结构化时序数据的双向长短期记忆网络模型（bidirectional long short-term memory，Bi-LSTM），开展遥感作物分类，并评估模型的泛化能力;通过输入不同长度时间序列遥感数据，探究满足一定制图精度条件下的作物最早可识别时间。【结果】作物年生长时序特征对于大多数作物遥感分类识别都具有较好的区分能力，基于年时间序列NDVI数据的Bi-LSTM模型作物分类总体准确率达90.9%，Kappa系数达到0.892。通过测试不同时间序列长度对作物分类的影响发现，对大多数作物来说，其分类精度随着数据时间序列长度增加而不断提高，冬小麦、水稻等作物在生长季早期即具有较为独特的分类特征，因而利用生长季早期的时间序列影像即可获得较高的制图精度，而棉花、春玉米等作物需要完整生长序列影像才能更好地保证分类精度。【结论】卫星影像时间序列蕴含的结构化特征信息可以有效地降低特定时段的作物光谱混淆;双向循环神经网络模型能够同时考虑前向和后向的时间状态信息，可以学习作物不同阶段的光谱变化特征，在水稻、棉花、春玉米等易混淆作物的识别上表现优异;模型能够有效地把握样本总体上的变化趋势，在农作物多分类任务中表现出较好的泛化能力和鲁棒性。本研究通过集成深度学习和遥感时间序列，为及时、快速的区域作物高精度制图提供了可行的思路。