基于深度学习的作物病虫害可视化知识图谱构建

针对作物病虫害领域存在实体关系交叉关联、多源异构数据聚合能力差、知识共享困难等问题,利用知识图谱以结构化的形式描述实体间复杂关系的优势,该研究提出了一种基于深度学习的作物病虫害知识图谱构建方法。该方法在领域本体的基础上,以一种与领域语料相适应的新标注模式实现实体和关系的联合抽取。将实体和关系抽取任务转化为序列标注问题,对实体和关系进行同步标注,有效提高标注效率;为了解决重叠关系抽取问题,直接对三元组建模而不是分别对实体和关系建模,通过标签匹配和映射即可获得三元组数据。利用来自转换器的双向编码器表征量（Bidirectional Encoder Representations from Transformers,BERT）-双向长短期记忆网络（Bi-directional Long-Short Term Memory,BiLSTM）+条件随机场（Conditional Random Field,CRF）端到端模型进行试验,结果表明效果优于基于普通标注方式的流水线方法和联合学习方法中的卷积神经网络（Convolutional Neural Networks,CNN）+BiLSTM+CRF、BiLSTM+CRF等经典模型,F1得分为91.34%。最后,将抽取到的知识存储到Neo4j图数据库中,直观地反映知识图谱的内部结构,实现知识可视化和知识推理。该研究构建的知识图谱可为作物病虫害智能问答系统、推荐系统、智能搜索等下游应用提供高质量的知识库基础。     

复杂环境下柿子和苹果绿色果实的优化SOLO分割算法

为了实现果园复杂环境下柿子和苹果绿色果实的精准分割,该研究提出了一种基于SOLO的绿色果实优化分割算法。首先,利用分离注意力网络（ResNeSt）设计SOLO算法的主干网络,用于提取绿色果实特征;其次,为更好地应对绿色果实特征的多尺度问题,引入特征金字塔网络（Feature Pyramid Networks,FPN）,构造ResNeSt+FPN组合结构;最后,将SOLO算法分为类别预测和掩码生成2个分支,类别预测分支在预测语义类别的同时,掩码生成分支实现了对绿色果实的实例分割。试验结果表明,优化SOLO分割算法的平均召回率和精确率分别达到94.84%和96.16%,平均每张绿色果实图像在图形处理器（Graphics Processing Unit,GPU）上的分割时间为0.14 s。通过对比试验可知,优化SOLO分割算法的召回率分别比优化掩膜区域卷积神经网络算法（Optimized Mask Region Convolutional Neural Network,Optimized Mask R-CNN）、SOLO算法、掩膜区域卷积神经网络算法（Mask Region Convolutional Neural Network,Mask R-CNN）和全卷积实例感知语义分割算法（Fully Convolutional Instance-aware Semantic Segmentation,FCIS）提高了1.63、1.74、2.23和6.52个百分点,精确率分别提高了1.10、1.47、2.61和6.75个百分点,分割时间缩短了0.06、0.04、0.11和0.13 s。该研究算法可为其他果蔬的果实分割提供理论借鉴,扩展果园测产和机器采摘的应用范围。     

基于混合3D-2D CNN的多时相遥感农作物分类

准确的农作物分类图是农业监测和粮食安全评估的重要数据来源,针对传统的深度学习模型在多时相农作物遥感分类方面精度较低的问题,该研究将卷积维度单一的卷积神经网络（Convolutional Neural Networks,CNN）进行改进,提出了一种混合三维和二维卷积的神经网络识别模型（Hybrid Three Dimensional and Two Dimensional Convolutional Neural Networks,3D-2D CNN）。该模型首先通过多个三维卷积层提取时空特征,其次将输出的特征降维压缩后通过二维卷积层执行空域特征分析,最后将高层特征图展平后通过全连接层进行类别预测。试验以Landsat8多时相影像为数据源,将美国加利福尼亚州北部研究区的地块按照2:2:6分层随机划分为训练集、验证集和测试集。试验结果表明3D-2D CNN对13种农作物分类的总体精度（89.38%）、宏平均F1值（84.21%）和Kappa系数（0.881）均优于三维卷积神经网络（Three Dimensional Convolutional Neural Networks,3D-CNN）、二维卷积神经网络（Two Dimensional Convolutional Neural Networks, 2D-CNN）、支持向量机（Support Vector Machines,SVM）和随机森林（Random Forest,RF）等方法,并在参数量和收敛时间方面比3D CNN大幅度减小。同时,在较小样本训练集下3D-2D CNN仍表现最优。该模型综合利用空间-光谱-时间特征并具有较高的分类精度和较强的鲁棒性,这为解决多时相遥感农作物分类问题提供了一个有效且可行的方案。     

CNN-ISS遥感影像分类的瓦片边缘效应及消除方案

应用卷积神经网络语义分割模型(Image Semantic Segmentation based on Convolutional Neural Network,CNN-ISS)进行遥感影像分类时,需将大幅影像分解为特定大小瓦片影像,并将其作为CNN-ISS处理对象,这一过程破坏了位于瓦片边缘处地物的完整几何及纹理特征...     

采用改进CNN对生猪异常状态声音识别

猪只声音能够体现出其生长状态,该研究针对人工监测猪只声音造成的猪只疾病误判以及耗时耗力等问题,研究基于卷积神经网络（Convolutional Neural Network,CNN）的生猪异常状态声音识别方法。该研究首先设计猪只声音实时采集系统,并利用4G通讯技术将声音信息上传至云服务器,基于专业人员指导制作猪只异常声音（生病、打架、饥饿等）数据集,提取猪只异常声音的梅尔谱图特征信息;其次引入多种注意力机制对CNN进行改进,并对CBAM（Convolutional Block Attention Module）注意力机制进行优化,提出_CBAM-CNN网络模型;最后将_CBAM-CNN网络模型分别与引入SE_NET（Squeeze and Excitation Network）、ECA_NET（Efficient Channel Attention Networks）和CBAM注意力机制的CNN神经网络进行对比,试验结果表明该文提出的_CBAM-CNN网络模型在最优参数为128维梅尔频率、2 048点FFT（Fast Fourier Transform）点数、512点窗移下的梅尔谱图特征下相较于其他模型对猪只异常声音识别效果最佳,识别率达到94.46%,验证了算法的有效性。该研究有助于生猪养殖过程中对猪只异常行为的监测,并对智能化、现代化猪场的建设具有重要意义。     

利用SAR影像与多光谱数据反演广域土壤湿度

针对基于主动微波遥感途径开展广域土壤湿度反演的过程中,对植被和土壤粗糙度影响难以进行有效估算的问题,该研究联合多极化雷达和原始多光谱数据源,提出一种改进的卷积神经网络(Improved Convolutional Neural Network,ICNN)方法。该方法采用不同尺寸的卷积核对原始变量进行一维卷积运算,自适应提取能反映测区土壤湿度时空差异的高级特征维;同时,去除了传统卷积神经网络结构中的池化层,保证提取的特征信息完整。试验结果表明,在边长超过100 km的四川盆地研究区域内,模型预测值与样本数据相关系数达到0.934,预测值偏差服从均值趋近于0的正态分布,均方根误差为1.45%,误差分布范围小于6.3%,结果具有较高的可靠性。该方法可为精准农业、旱涝灾害等领域的广域监测研究提供一定的支撑。     

基于CNN-BiLSTM的棉花产量预测方法

针对传统的作物产量估算方法在模型泛化方面的不足及缺少时序特征和空间特征的问题,该研究以机采棉为研究对象,结合无人机遥感平台与深度学习技术对棉花进行多期遥感观测与估产。以棉花苗期、蕾期和花期的影像为时间序列数据集,构建基于卷积神经网络（Convolutional Neural Network,CNN）和双向长短期记忆（Bidirectional Long Short-Term Memory,BiLSTM）的混合模型（CNN-BiLSTM）进行棉花产量预估,提高时间维度和空间维度方面的特征提取能力,并分别验证CNN和BiLSTM的性能以及不同网络深度对估产的影响。研究结果表明,CNN和BiLSTM深度分别为14和1的CNN14-BiLSTM模型准确率最高,对比单一结构的BiLSTM该模型决定系数从0.851提升至0.885,其均方根误差和平均绝对百分比误差也均明显下降,在2.3 m×2.3 m的样方内,结果分别为147.167 g和6.711%。该研究实现了基于时间序列的棉花产量估算,可为类似的作物产量估算提供参考。     

基于深度学习的水产病害可视化知识图谱构建与验证

知识图谱本质上是基于图的语义网络，表示实体与实体之间的关系，在知识问答、语义检索等领域起着至关重要的作用。针对目前水产病害领域存在实体关系交叉关联、多源异构数据聚合能力差、利用率低、知识共享困难等问题，该研究基于自然语言处理和文本挖掘提出了一个基于神经网络深度学习模型的水产病害专业领域知识图谱构建方法并进行试验验证。首先，构建水产病害专业领域本体，并预定义实体类型、属性和关系的集合，确定知识抽取边界；其次，在本体基础上，分别利用规则方法和深度学习方法对半结构化和非结构化知识进行抽取。对于非结构化知识，提出“水产病害+关系+BMES”文本标注体系，将关系抽取融合于命名实体识别任务中直接对三元组建模，将实体关系抽取转化为序列标注问题，不仅提高标注效率，还实现了实体和关系的联合抽取。同时通过标签匹配和映射对三元组建模获得RDF数据，解决了重叠关系抽取的难题。利用BERT-BiLSTM+CRF端到端模型进行试验，试验结果证明该三元组抽取方法具有较高的召回率（89.64%），准确率（94.04%）和F₁值（91.34%），优于CNN+BiLSTM+CRF和BiLSTM+CRF等模型，抽取效果有了显著提升，并将抽取到的知识存储到 Neo4j 图数据库中，实现知识可视化管理及知识推理分析。该研究构建的水产病害知识图谱精度高、粒度细，能够帮助机器理解数据、解释现象、知识推理，从而发掘深层关系、实现智慧搜索与智能交互。     

基于深度掩码的玉米植株图像分割模型

随着深度学习技术在植物表型检测领域的应用,有监督深度学习逐渐成为植物表型信息的提取与分析的主要方法。但由于植物结构复杂、细节特征多,人工标注的成本和质量问题已成为制约技术发展的瓶颈。该研究针对玉米苗期植株图像分割问题提出一种基于深度掩码的卷积神经网络（Depth Mask Convolutional Neural Network,DM-CNN）,将深度图像自动转换深度掩码图像,并替代人工标注样本完成图像分割网络训练。试验结果表明,在相同的网络训练参数下,通过测试DM-CNN得到的平均交并比为59.13%,平均召回率为65.78%,均优于人工标注样本对应的分割结果（平均交并比为58.49%,平均召回率为64.85%）;此外,在训练样本中加入10%室外玉米苗期图像后,DM-CNN对室外测试集的平均像素精度可以达到84.54%,证明DM-CNN具有良好的泛化能力。该研究可为高通量、高精度的玉米苗期表型信息获取提供低成本解决方案及技术支持。     

基于中文字邻接图的食品抽检公告实体及关系联合抽取

在对中文食品抽检公告进行实体与关系抽取时，常会出现包含大量食品名称与食品分类的长句，现有深度学习模型在进行实体关系抽取时，只将文本看作一串字词序列来编码，当句子较长且词间距离过大时，词间强依赖关系的学习效果会减弱。而这一问题在食品领域的实体关系抽取中少有被关注，所以该研究提出基于改进中文依存句法树与多特征融合的实体关系联合抽取模型（TAG-JE），该模型将词间具有的强依赖关系通过句法依存树建立关系图，再根据中文BERT编码的字处理模式，将关系图转化为字邻接图，再由图神经网络学习字邻接图的结构特征，最后将之与BERT提取的文本上下文特征融合，融合权重通过门网络结构自主调节，以获得公告文本的多特征融合特征表示。获得的融合特征将采用主流的联合抽取模型进行实体与关系的抽取，并在关系判断时使用强化学习训练的关系选择器来优化关系的嵌入信息，以提升联合抽取方法在关系判断上的准确率。为了验证TAG-JE的效果，将其与主流的深度学习模型在自建的非结构化食品抽检公告数据集上进行了抽取效果对比，结果证明TAG-JE的精确率、召回率与F1值分别达到90.86%，90.50%，90.68%，相对其他基线模型都有较大提升，证明了其在中文食品抽检文档中的知识挖掘能力。针对中文公共数据集的试验中，该模型相对GraphRel与CasRel这些经典联合抽取模型也取得更好的结果，证明TAG-JE也有较好的泛化效果。研究结果可为食品安全中文知识图谱的构建提供技术参考。     

基于双重注意力机制的渔业标准实体关系抽取

针对渔业标准实体关系抽取任务中存在重叠关系导致的效果不好问题,提出了基于双重注意力机制的实体关系抽取方法。首先,提出了一种句式分类标注策略,以解决渔业标准文本中重叠关系难以标注的问题;其次,提出了结合双重注意力机制与BERT-BiLSTM-CRF(Bidirectional Encoder Representations from Transformers-Bi-directional Long Short-Term Memory-Conditional Random Field)的渔业标准实体关系抽取模型,分别利用字级别注意力机制和句子级别注意力机制优化权重分配、消除噪音,进而提高关系抽取的准确性;最后,为验证所提出方法的有效性设计了对比试验,结果表明,基于双重注意力机制的实体关系抽取方法在DLOU-FSI(Fishery Standard Interaction)数据集(36万字符)上准确率、召回率、F1值分别达到了92.67%、92.31%、92.49%。研究表明,该方法可有效解决渔业标准关系抽取任务中存在的重叠关系问题,提升了渔业标准实体关系抽取的整体效果,为构建渔业标准知识图谱提供参考。     

采用融合规则与BERT-FLAT模型对营养健康领域命名实体识别

人类营养健康命名实体识别旨在检测营养健康文本中的营养实体,是进一步挖掘营养健康信息的关键步骤。虽然深度学习模型广泛应用在人类营养健康命名实体识别中,但没有充分考虑到营养健康文本中含有大量的复杂实体而出现长距离依赖的特点,且未能充分考虑词汇信息和位置信息。针对人类营养健康文本的特点,该研究提出了融合规则与BERT-FLAT（Bidirectional Encoder Representations from Transfromers-Flat Lattice Transformer,转换器的双向编码器表征量-平格变压器）模型的营养健康文本命名实体识别方法,识别了营养健康领域中食物、营养物质、人群、部位、病症和功效作用6类实体。首先通BERT模型将字符信息和词汇信息进行嵌入以提高模型对实体类别的识别能力,再通过位置编码与词汇边界信息结合的Transformer模型进行编码以提高模型对实体边界的识别效果,利用CRF（Coditional Random Field,条件随机场）获取字符预测序列,最后通过规则对预测序列进行修正。试验结果表明,融合规则与BERT-FLAT模型的人类营养健康领域识别的准确率为95.00%,召回率为88.88%,F1分数为91.81%。研究表明,该方法是一种有效的人类营养健康领域实体识别方法,可以为农业、医疗、食品安全等其他领域复杂命名实体识别提供新思路。     

面向葡萄知识图谱构建的多特征融合命名实体识别

为解决构建知识图谱过程中由于上下文环境复杂、现有模型字向量语义表征相对单一导致领域专业实体识别率低的问题,该研究提出了来自转换器的双向编码器表征量（bi-directional encoder representation from transformer, BERT）和残差结构（residual structure, RS）融合的命名实体识别模型（bert based named entity recognition with residual structure,BBNER-RS）。通过BERT模型将文本映射为字符向量,利用双向长短时记忆网络（bi-directional long-short term memory, BiLSTM）提取局部字符向量特征,并采用RS保留BERT提供的全局字符向量特征,以提高字向量的语义丰富度,最后通过条件随机场（conditional random field, CRF）模型对特征向量解码,获取全局最优序列标注。与其他命名实体识别模型相比,提出的BBNER-MRS模型在葡萄数据集上表现较好,在葡萄人民日报、玻森、简历和微博数据集上F1值分别达到89...     

基于三维点云的植物多任务分割网络

在植物表型研究中,植物器官分割是实现无损、高通量、自动化表型测量的重要步骤。然而,现有植物器官分割方法通常需要凭借经验设置合理的阈值参数,且很少同时执行语义分割和实例分割。该研究提出了一个基于三维点云的植物多任务分割网络（a multi-task segmentation network for plant on 3D point cloud,MT-SegNet）,结合多值条件随机场（multi-value conditional random field,MV-CRF）模型,同时实现茎、叶语义分割和叶实例分割。在MT-SegNet中,为解决用最大池化或平均池化方法来聚合邻域点特征可能会导致重要信息丢失的问题,该研究提出了一种基于注意力机制的多头注意力池化模块。它能自动学习到重要的邻域点特征,从而有利于提高网络的分割性能。同时,MT-SegNet分成两个不同的分支,分别用于预测点的语义类别和将这些点嵌入到高维向量,以便将这些点聚类为实例。最后,使用MV-CRF进行多任务的联合优化。在彩叶芋点云数据集上的试验结果表明,该方法的茎、叶语义分割的交并比、准确率、召回率和F1分数的平均值分别为84.54%、93.64%、91.39%、92.48%,叶实例分割的平均准确率、平均召回率、平均实例覆盖率和平均加权实例覆盖率分别为88.10%、78.44%、76.24%、76.93%,均优于PointNet、JSNet等现有的深度学习网络。该模型也适用于类似植物的点云分割类任务。这有助于为植物自动化表型测量提供必要的技术条件。     

基于轻量级CNN-Transformer混合网络的梯田图像语义分割

梯田是一种传统的农业种植方式,发挥着稳定作物生产与水土保持效能,修筑梯田是发展农业生产的重要措施之一。快速、准确地对梯田区域分布信息进行采集,对提高粮食产量、治理水土流失以及规划区域生态等方面具有重要的作用与意义。无人机图像梯田道路边界模糊、具有较长的带状结构,为了更准确地获取梯田的边缘信息,受MobileVit启发,该研究在MobileViT block中引入了轴向注意力机制(axial attention),并采用编码器-解码器结构,提出了基于轻量级CNN-Transformer混合构架网络模型。模型编码器部分由改进的MobileViT block、融入了条形池化的逆残差模块和空洞空间金字塔池化模块构成,再通过有效设计摆放各模块的位置顺序来实现局部与全局的视觉表征信息交互,得到完整的全局特征表达;利用解码器对编码器提取到的多尺度特征图进行采样和卷积操作得到语义分割结果图。选取PSPNet、LiteSeg、BisNetv2、Deeplabv3Plus、MobileViT在相同测试集上进行对比试验,结果表明,该研究所提模型在精度与速度方面均具有一定的优势,其像素精度可达95.79%,频权交并比可达94.86%,模型参数量为8.32 M,实现了使用较少的参数和简单的方法对复杂无规则的无人机图像梯田区域对象较为准确的分割,将其部署到无人机上可以进一步获取梯田的形状、位置、轮廓等信息,及时准确地掌握梯田边缘信息为预防和修护加固梯田提供重要的依据,同时有助于梯田区域种植面积和范围的统计,以期为梯田和旱作区农业建设的发展提供参考。     

融合注意力机制与BERT+BiLSTM+CRF模型的渔业标准定量指标识别

在渔业标准文本中,定量指标识别对标准内容服务具有重要的意义,针对目前常用的命名实体识别方法对渔业标准定量指标识别准确率不高的问题,该研究提出了融合注意力机制与BERT+BiLSTM+CRF(BidirectionalEncoder Representations from Transformers+Bi-directional Long Short-Term Memory+Conditional Random Field,来自转换器的双向编码器表征量+双向长短时记忆网络+条件随机场)模型的渔业标准定量指标识别方法,该方法将渔业标准中定量指标拆分为指标名、指标值、单位、限制词4类实体,通过分析渔业标准语料的特点发现位置信息对指标名等实体识别效果具有重要影响,首先利用BERT模型中位置向量信息提高指标名等实体的识别效果,其次采用BiLSTM(Bi-directional Long Short-Term Memory,双向长短时记忆网络)模型学习渔业标准文本定量指标中长序列语义特征,然后再将注意力机制与BERT+BiLSTM模型进行融合以解决长序列语义稀释问题,最后利用CRF(Conditional Random Field,条件随机场)层得到预测序列标签。试验结果表明,融合注意力机制与BERT+BiLSTM+CRF模型的渔业标准定量指标识别准确率为94.51%、召回率为96.37%、F1值为95.43%,研究表明,该方法解决了渔业标准定量指标识别准确率不高的问题,可以比较准确地识别由指标名、指标值、单位、限制词组成的渔业标准定量指标,是一种有效的渔业标准定量指标识别方法,可为农业、医学、生物等其他领域定量指标命名实体识别提供新思路。     

基于文本分类和知识挖掘的远洋渔船安全问题分析

针对远洋渔船问题信息的知识挖掘与分析任务中存在渔船安全知识提取深度不足、安全问题文本分类精度不够的问题,该研究在归纳中国沿海8省市远洋渔业管理机构和企业的约5000条远洋渔船安全问题文本数据特征的基础上,提出一种整合文本分类、知识挖掘和共现网络分析技术的远洋渔船安全问题分析方法。首先,构建基于双向预训练语言模型与文本卷积神经网络的混合深度学习模型BERT-TextCNN（bidirectional encoder representations from transformers-text convolutional neural networks）,对渔船安全问题文本进行基于《开普敦协定》规定的精准主题分类。进一步利用基于主题的词频-逆文档频率算法TF-IDF（term frequency-inverse document frequency）,提取各主题下的关键渔船安全知识。最后,绘制渔船安全知识共现网络图,可视化分析各知识的分布规律及内在联系。结果表明,BERT-TextCNN模型对渔船安全问题文本的分类精度相较于BERT、Word2vec、Character embedding文本表示方法和DPCNN、BiLSTM-Attention、RCNN等6种神经网络的其他17种对比模型提升较为明显,准确率、宏平均召回率、宏平均F₁值分别达98.20%、98.02%、98.05%;基于主题的渔船安全知识挖掘方法可以展示远洋渔船安全工作的重点排序和关系网络图,涵盖渔船的机电设备、消防装置、救生设备、无线电通信等10类安全知识。该方法可为相关渔业管理人员提供高质量的渔船安全知识服务,对国内远洋渔业的安全管理效率、履约水平、智慧渔业工程的应用和发展有促进作用。     

基于实体级遮蔽BERT与BiLSTM-CRF的农业命名实体识别

字符的位置信息和语义信息对命名方式繁杂且名称长度较长的中文农业实体的识别至关重要。为解决命名实体识别过程中由于捕获字符位置信息、上下文语义特征和长距离依赖信息不充足导致识别效果不理想的问题,该研究提出一种基于EmBERT-BiLSTM-CRF模型的中文农业命名实体识别方法。该方法采用基于Transformer的深度双向预训练语言模型（Bidirectional Encoder Representation from Transformers,BERT）作为嵌入层提取字向量的深度双向表示,并使用实体级遮蔽策略使模型更好地表征中文语义;然后使用双向长短时记忆网络（Bidirectional Long Short-Term Memory,BiLSTM）学习文本的长序列语义特征;最后使用条件随机场（Conditional Random Field,CRF）在训练数据中学习标注约束规则,并利用相邻标签之间的信息输出全局最优的标注序列。训练过程中使用了焦点损失函数来缓解样本分布不均衡的问题。试验在构建的语料库上对农作物品种、病害、虫害和农药4类农业实体进行识别。结果表明,该研究的EmBERT-BiLSTM-CRF模型对4类农业实体的识别性能相较于其他模型有明显提升,准确率为94.97%,F1值为95.93%。     

基于红外热成像的夜间农田实时语义分割

农田环境实时语义分割是构成智能农机的视觉环境感知的重要环节,夜间农田语义分割可以使智能农机在夜间通过视觉感知农田环境进行全天候作业,而夜间无光环境下,可见光摄像头成像效果较差,将造成语义分割精度的下降。为保证夜间农田环境下红外图像语义分割的精度与实时性,该研究提出了一种适用于红外图像的红外实时双边语义分割网络(Infrared Real-time Bilateral Semantic Segmentation Network,IR-BiSeNet),根据红外图像分辨率低,细节模糊的特点该网络在实时双边语义分割网络(Bilateral Semantic Segmentation Net,BiSeNet)结构基础上进行改进,在其空间路径上,进一步融合红外图像低层特征,在该网络构架中的注意力提升模块、特征融合模块上使用全局最大池化层替换全局平均池化层以保留红外图像纹理细节信息。为验证提出方法的有效性,通过在夜间使用红外热成像采集的农田数据集上进行试验,数据集分割目标包括田地、行人、植物、障碍物、背景。经试验验证,提出方法在夜间农田红外数据集上达到了85.1%的平均交并比(Mean Inter...