面向葡萄知识图谱构建的多特征融合命名实体识别

为解决构建知识图谱过程中由于上下文环境复杂、现有模型字向量语义表征相对单一导致领域专业实体识别率低的问题,该研究提出了来自转换器的双向编码器表征量（bi-directional encoder representation from transformer, BERT）和残差结构（residual structure, RS）融合的命名实体识别模型（bert based named entity recognition with residual structure,BBNER-RS）。通过BERT模型将文本映射为字符向量,利用双向长短时记忆网络（bi-directional long-short term memory, BiLSTM）提取局部字符向量特征,并采用RS保留BERT提供的全局字符向量特征,以提高字向量的语义丰富度,最后通过条件随机场（conditional random field, CRF）模型对特征向量解码,获取全局最优序列标注。与其他命名实体识别模型相比,提出的BBNER-MRS模型在葡萄数据集上表现较好,在葡萄人民日报、玻森、简历和微博数据集上F1值分别达到89...     

基于空间金字塔池化和深度卷积神经网络的作物害虫识别

为了减少因作物害虫姿态多样性和尺度多样性导致其识别精度相对较低的问题,该文将空间金字塔池化与改进的YOLOv3深度卷积神经网络相结合,提出了一种基于空间金字塔池化的深度卷积神经网络农作物害虫种类识别算法,首先对测试图像上的害虫进行检测定位,然后对检测定位出的害虫进行种类识别。通过改进YOLOv3的网络结构,采用上采样与卷积操作相结合的方法实现反卷积,使算法能够有效地检测到图片中体型较小的作物害虫样本;通过对采集到的实际场景下20类害虫进行识别测试,识别精度均值可达到88.07%。试验结果表明,本文提出的识别算法能够有效地对作物害虫进行检测和种类识别。     

基于多流高斯概率融合网络的病虫害细粒度识别

为解决由于现有深度迁移学习无法有效匹配实际农业场景部署应用,而导致大规模、多类别、细粒度的病虫害辨识准确低、泛化鲁棒差等问题,该研究利用农业物联网中多种设备终端获取12.2万张181类病虫害图像,并提出了基于多流概率融合网络MPFN（Multi-stream Gaussian Probability Fusion Network）的病虫害细粒度识别模型。该模型设计多流深度网络并行的细粒度特征提取层,挖掘可区分细微差异的不同级别局部特征表达,经过局部描述特征聚合层和高斯概率融合层的整合优化,发挥多模型融合信息互补及置信耦合的优势,既可以有效区分不同类病虫害的种间微小差异,又可容忍同类病虫害种内明显差异干扰。对比试验表明,该研究MPFN模型对各类病虫害的平均识别准确率达到 93.18%,性能优于其他粗粒度及细粒度深度学习方法;而平均单张处理时间为61ms,能够满足农业生产实践中物联网各终端病虫害细粒度图像识别需求,可为智能化病虫害预警防控提供技术应用参考,进而为保障农作物产量和品质安全提供基础。     

基于深度学习的作物病虫害可视化知识图谱构建

针对作物病虫害领域存在实体关系交叉关联、多源异构数据聚合能力差、知识共享困难等问题,利用知识图谱以结构化的形式描述实体间复杂关系的优势,该研究提出了一种基于深度学习的作物病虫害知识图谱构建方法。该方法在领域本体的基础上,以一种与领域语料相适应的新标注模式实现实体和关系的联合抽取。将实体和关系抽取任务转化为序列标注问题,对实体和关系进行同步标注,有效提高标注效率;为了解决重叠关系抽取问题,直接对三元组建模而不是分别对实体和关系建模,通过标签匹配和映射即可获得三元组数据。利用来自转换器的双向编码器表征量（Bidirectional Encoder Representations from Transformers,BERT）-双向长短期记忆网络（Bi-directional Long-Short Term Memory,BiLSTM）+条件随机场（Conditional Random Field,CRF）端到端模型进行试验,结果表明效果优于基于普通标注方式的流水线方法和联合学习方法中的卷积神经网络（Convolutional Neural Networks,CNN）+BiLSTM+CRF、BiLSTM+CRF等经典模型,F1得分为91.34%。最后,将抽取到的知识存储到Neo4j图数据库中,直观地反映知识图谱的内部结构,实现知识可视化和知识推理。该研究构建的知识图谱可为作物病虫害智能问答系统、推荐系统、智能搜索等下游应用提供高质量的知识库基础。     

基于深度学习的水产病害可视化知识图谱构建与验证

知识图谱本质上是基于图的语义网络，表示实体与实体之间的关系，在知识问答、语义检索等领域起着至关重要的作用。针对目前水产病害领域存在实体关系交叉关联、多源异构数据聚合能力差、利用率低、知识共享困难等问题，该研究基于自然语言处理和文本挖掘提出了一个基于神经网络深度学习模型的水产病害专业领域知识图谱构建方法并进行试验验证。首先，构建水产病害专业领域本体，并预定义实体类型、属性和关系的集合，确定知识抽取边界；其次，在本体基础上，分别利用规则方法和深度学习方法对半结构化和非结构化知识进行抽取。对于非结构化知识，提出“水产病害+关系+BMES”文本标注体系，将关系抽取融合于命名实体识别任务中直接对三元组建模，将实体关系抽取转化为序列标注问题，不仅提高标注效率，还实现了实体和关系的联合抽取。同时通过标签匹配和映射对三元组建模获得RDF数据，解决了重叠关系抽取的难题。利用BERT-BiLSTM+CRF端到端模型进行试验，试验结果证明该三元组抽取方法具有较高的召回率（89.64%），准确率（94.04%）和F₁值（91.34%），优于CNN+BiLSTM+CRF和BiLSTM+CRF等模型，抽取效果有了显著提升，并将抽取到的知识存储到 Neo4j 图数据库中，实现知识可视化管理及知识推理分析。该研究构建的水产病害知识图谱精度高、粒度细，能够帮助机器理解数据、解释现象、知识推理，从而发掘深层关系、实现智慧搜索与智能交互。     

基于轻量型残差网络的自然场景水稻害虫识别

准确识别水稻害虫对水稻及时采取防护和治理措施具有重要意义,该研究以自然场景中水稻害虫图像为研究对象,针对水稻害虫图像的颜色纹理与背景相近以及同类害虫形态差异较大等特点,设计了一个由特征提取、全局优化以及局部优化模块构成的轻量型残差网络（Light Weight Residual Network,LW-ResNet）用于水稻害虫识别。在特征提取模块通过增加卷积层数以及分支数对残差块进行改进,有效提取自然场景中水稻害虫图像的深层全局特征并使用全局优化模块进行优化;局部优化模块通过设计轻量型注意力子模块关注害虫的局部判别性特征。LW-ResNet网络在特征提取模块减少了残差块的数量,在注意力子模块中采用深度可分离卷积减少了浮点运算量,从而实现了模型的轻量化。试验结果表明,所设计的LW-ResNet网络在13类水稻害虫图像的测试数据集上达到了92.5%的识别准确率,高于VGG16、ResNet、AlexNet等经典卷积神经网络模型,并且LW-ResNet网络的参数量仅为1.62×106个,浮点运算量仅为0.34×109次,低于MobileNetV3轻量级卷积神经网络模型。该研究成果可用于移动端水稻害虫的自动识别。     

基于鱼体特征点检测的淡水鱼种类识别

针对传统机器视觉技术对淡水鱼种类进行检测时特征提取过程复杂的问题,该研究提出了基于特征点检测的淡水鱼种类识别方法。以鳊、鳙、草鱼、鲢、鲤5种大宗淡水鱼为对象,构建了淡水鱼特征点检测数据集;以AlexNet模型为基础,通过减小卷积核尺寸、去除局部响应归一化、引入批量归一化、更换损失函数,构建了改进AlexNet模型用于特征点检测;并以特征点为依据提取特征值、构造特征向量,使用Fisher判别分析方法实现了淡水鱼的种类识别。试验结果表明：改进AlexNet模型在测试集上的归一化平均误差的均值为0.0099,阈值δ为0.02和0.03时的失败率F_0.02、F_0.03分别为2.50%和0.83%,具有较好的精准度和误差分布情况;基于该模型和Fisher判别分析的淡水鱼种类识别方法对5种淡水鱼的识别准确率为98.0%,单幅图像的平均识别时间为0.368 s,保证了时效性。由此可知,提出的改进AlexNet模型能实现淡水鱼的特征点检测并具有较高的精度,可为淡水鱼种类识别、尺寸检测、鱼体分割等提供条件,该方法可为淡水鱼自动化分类装置的研发奠定基础。     

基于图像显著性分析与卷积神经网络的茶园害虫定位与识别

为实现在茶园环境中快速、准确地识别害虫目标,该文提出了一种基于卷积神经网络的深度学习模型来进行害虫定位和识别的方法。该文通过对整个图像进行颜色衰减加速运算,结合超像素区域之间的空间影响,计算各个超区域的显著性值,进而提供害虫目标的潜在区域,最终结合Grab Cut算法进行害虫目标的定位和分割。对于分割后的害虫目标,通过优化后的卷积神经网络进行表达和分类,并进一步对卷积神经网络的结构进行了约减。通过对23种茶园主要害虫的识别,试验结果表明,识别准确率在优化前后分别为0.915和0.881,优化后的模型内存需求和运行耗时分别降低至6 MB和0.7 ms,取得了较好的识别效果。     

基于卷积神经网络提取多尺度分层特征识别玉米杂草

为提高作物与杂草识别的准确率、稳定性和实时性,该文以幼苗期玉米及杂草为研究对象,提出了基于卷积神经网络提取多尺度分层特征的玉米杂草识别方法。首先建立卷积神经网络模型,以从图像的高斯金字塔中提取多尺度分层特征作为识别依据,再与多层感知器相连接实现图像中各像素的识别;为了避免目标交叠所带来的问题,对图像进行超像素分割,通过计算每个超像素内部的平均像素类别分布确定该超像素块的类别,再将相同类别的相邻超像素合并,最终实现图像中各目标的识别。试验结果表明:该方法的平均目标识别准确率达98.92%,标准差为0.55%,识别单幅图像的平均耗时为1.68 s,采用GPU硬件加速后识别单幅图像的平均耗时缩短为0.72 s。该方法实现了精确、稳定和高效的玉米与杂草识别,研究可为精确除草的发展提供参考。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。     

多模态知识图谱增强葡萄种植问答对的答案选择模型

针对传统答案选择模型仅依靠问答对自身信息进行匹配的问题,该研究提出了一种使用多模态知识图谱来增强问答对的答案选择模型。该模型通过设计基于ComplEx（complex embedding）图谱嵌入的方法学习多模态知识图谱嵌入,引入上下文注意力机制并使用CNN网络获取多模态知识图谱的特征表示,使用知识感知注意力方法,将多模态知识图谱提供的背景知识与问答对的文本语义信息融合。以葡萄种植为例,通过搭建葡萄种植多模态知识图谱和构造葡萄种植问答数据集开展试验,试验结果表明: 使用多模态知识图谱有助于模型获取更多信息从而达到更好的效果,在葡萄问答数据集中正确答案的平均倒数排名和平均准确率分别达到了85.02%、84.21%,与其他模型相比平均倒数排名提高2.57个百分点,平均准确率提高了3.96个百分点。该答案选择模型利用多模态知识图谱的知识提高答案选择效果,可为搜索、问答等下游任务提供技术基础。     

面向苹果叶部病害识别的细粒度蒸馏模型

为了提高轻型卷积神经网络（convolutional neural networks,CNN）在苹果叶部病害识别中的精度,使其更加适于布署到智慧农业移动终端,该研究设计了一种细粒度知识蒸馏（fine-grained knowledge distillation,FGKD）模型。首先,利用上下文信息与空间-语义关系分别设计了上下文空间注意力（spatial attention,SA）与细粒度特征提取（fine-grained feature extraction,FGFE）模块,且将它们嵌入到Resnet50与设计的轻型CNN,分别作为教师与学生网络;然后,构造SA与FGFE知识蒸馏损失函数,以将教师网络中的特征提取与细粒度知识表示能力迁移到学生网络之中,以增强其对苹果叶部病害图像的局部特征提取能力与高层语义表达能力,使轻型学生网络在参数量很小的条件下,其性能接近复杂的教师网络。基于标准苹果叶部病害数据集的对比试验结果表明,经知识蒸馏之后的学生网络精度为98.60%,模型参数量仅0.75 MB,平均推理时间为25.51 ms,能够有效地满足实际智慧农业移动端对模型的需求,快速准确地实现苹果叶部病害自动识别。     

面向知识图谱构建的水产动物疾病诊治命名实体识别

疾病诊治是水产动物健康养殖工程的重要支撑，知识图谱是水产动物疾病诊治知识表示及应用的有效手段，命名实体识别是构建水产动物疾病诊治知识图谱的关键。针对一词多义、实体嵌套等导致的水产动物疾病诊治命名实体识别准确率不高的问题，该研究提出了融合BERT（Bidirectional Encoder Representations from Transformers）与CaBiLSTM （Cascade Bi-directional Long Short-Term Memory）的实体识别模型。首先，建立水产动物疾病诊治专用语料库，并利用语料库中的数据对设计的模型进行训练；其次，采用"分层思想"设计CaBiLSTM模型进行嵌套实体识别，用降维的内层实体特征提升外层实体的辨析度，并引入BERT模型增添实体位置信息；最后，为验证所提出方法的有效性进行对比试验。试验结果表明，提出的融合BERT与CaBiLSTM模型对水产动物疾病诊治命名实体识别准确率、召回率、F1值分别达到93.07%、92.85%、92.96%。研究表明，该模型能够有效解决水产动物疾病诊治命名实体识别过程中由于一词多义、实体嵌套等导致的识别准确率不高问题，可提高水产动物疾病诊治知识图谱的构建质量，促进水产健康养殖工程发展。     

基于知识蒸馏的胡萝卜外观品质等级智能检测

胡萝卜等级分类是提高胡萝卜市场竞争力的关键环节。传统的胡萝卜外部缺陷检测采用特征提取+分类器模式,需要手工定义特征,客观性差。为了解决上述问题,该研究提出一种基于知识蒸馏的网络模型,通过引入教师模型来指导学生模型的训练,在保证准确率的情况下减少网络模型的参数量和运行时间消耗。该试验采集了外观无缺陷以及黑斑、弯曲、带须根的四类胡萝卜样本图片,将其导入网络模型中进行训练。通过使用Resnet34、Resnet50、Resnet101这3个不同教师模型来指导学生模型Resnet18的训练,蒸馏模型平均准确率从94.3%分别提高到94.8%、95.2%、95.8%,其中Resnet101模型指导的Resnet18模型中正常胡萝卜识别率提高到100%,正常、黑斑、须根识别率提高约2%,模型训练时间为11.3 h。此外,传统Resnet50模型和Resnet101模型对数据集的识别准确率分别是96.3%和96.9%,模型训练时间分别是19.3和31.3 h。试验发现：蒸馏模型识别率大幅优于基于特征提取+分类器的传统模型,且随着教师模型网络深度的增加,模型识别率也进一步提高。从模型训练时间和模型部署上考虑,知识蒸馏是很有必要的,通过牺牲小部分准确率可以大大缩短模型训练时间和降低模型部署成本。该研究所提出的知识蒸馏模型作为一种轻量级前端部署方法,对于改进胡萝卜外观品质自动检测装置的性能具有积极意义。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM(convolutional block attention module),改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

基于姿态与时序特征的猪只行为识别方法

生猪行为监测是生猪养殖管理过程中的一个重要环节。该研究提出了基于姿态与时序特征的猪只行为识别方法。首先采集和标注猪栏内猪只图像,分别构建了猪只目标检测数据集、猪只关键点数据集和猪只行为识别数据集;利用构建的数据集,分别训练了基于YOLOv5s的猪只检测模型、基于轻量化OpenPose算法的猪只姿态估计模型和基于ST-GCN算法的猪只行为识别模型,并搭建了猪只行为识别系统。经测试,文中训练的YOLOv5s猪只检测模型mAP（mean Average Precision）最高达到0.995,姿态估计模型平均精度和平均召回率达到93%以上,基于ST-GCN的猪只行为识别模型的平均准确率为86.67%。文中构建的猪只行为识别系统中基于LibTorch推理猪只检测模型和猪只姿态估计模型的单帧推理耗时分别约为14和65 ms,单只猪行为识别推理耗时约为8 ms,每提取200帧连续姿态进行一次行为识别推理,平均17 s更新一次行为识别结果。证明提出的基于姿态与时序特征的猪只行为识别方法具有一定可行性,为群养猪场景下的猪只行为识别提供了思路。     

基于知识图谱与案例推理的水稻精准施肥推荐模型

目前水稻种植户的施肥行为存在一定的盲目性,会造成肥料浪费和环境污染等问题,对此该研究提出了一种基于知识图谱和案例推理的水稻精准施肥推荐模型,包括推荐定性的施肥方案和定量的施肥量两个阶段。首先,使用PairRE模型获取图谱中全部实体和关系的低维向量表示,并在此基础上依据待种植的水稻品种进行知识推理以得到定性的施肥方案;然后,结合实体向量检索出k个相似案例,通过k个案例进行组合预测,得出具体施肥量数值。由中国知网获取166个环境指标数值明确、施肥过程记录完整的水稻施肥事件用于模型的验证,结果表明,与测试事件的实际施肥方案相违背的部分仅占比10.76%;对于氮肥施用总量、磷肥施用总量、钾肥施用总量和氮肥基叶肥与穗肥运筹比例的预测精度分别达到了92.85%、82.61%、79.17%和90.92%。该施肥推荐模型能够输出详细的施肥方案和精确的施肥量,算法过程可解释性较强,可为水稻精准施肥推荐系统的设计提供支撑。