管道完整性系统数据集成与应用

从油气长输管道完整性数据的应用现状出发,提出了管道完整性数据集成应用的现实需求,通过比较现有数据集成技术,进一步分析了管道完整性数据集成的需求和目标,分别从管道完整性数据库构建及应用平台两个方面对实施路线进行了阐述。结合管道内检测应用实例,分别从完整性数据支持、数据对齐、数据分析展示3个方面验证了基于管道完整性管理系统的数据集成应用效果,有效解决了数据不统一、利用效率低、应用效果不理想等问题,从而为管道完整性管理及相关技术应用提供更加有效的手段,为实际管理决策提供更加有效的支持。     

基于云计算的并行关联规则挖掘

FP-Growth算法的效率约比Apriori快一个数量级,但存在FP-tree可能过大和串行处理等两大缺点,为此提出了基于局部FP-tree的并行关联规则挖掘算法P-FP-Growth。为实现基于云计算的并行关联规则挖掘,用MapReduce计算模型描述了P-FP-Growth算法,在Hadoop下进行了编程实现,得出了频繁模式挖掘结果,验证了该算法在云计算平台进行部署和执行的可行性。对比了算法分别在局域网多节点并行处理和在Hadoop平台执行的所需时间。     

关联规则挖掘的优化算法

频繁项集挖掘是关联规则挖掘的核心部分,目前大多数关于关联规则挖掘的研究都集中于如何提高频繁项集挖掘的效率,然而在实际应用中,决策者面对的是最终从频繁项集中生成的规则集,因此优化规则的生成过程及生成规则同样值得重视。本文提出频繁项集的子集树这一模式来生成关联规则,不仅简化规则的生成过程还可缩小决策者面对的规则集,更便于规则的增量更新。     

基于模式矩阵匹配的关联规则挖掘算法

本文利用模式矩阵对Apriori算法进行改进,提出一种基于模式矩阵匹配的新算法。它使扫描数据库的次数降为一次,同时小产生候选项目集而直接产生频繁项目集,并且存放辅助信息所需要的空间也少,从而使算法的时间复杂度和空间复杂度大大降低。试验结果表明算法正确高效。     

基于分布式系统下的快速关联规则挖掘算法

随着分布式技术的发展,基于分布式系统下关联规则挖掘算法的研究显得非常重要.分布式系统下关联规则挖掘算法的时间开销主要体现在两方面:一是频繁项目集的确定;二是网络的通讯量.为解决第一个问题,文章提出了一种基于二进制形式的候选频繁项目集生成算法,该算法只需对挖掘对象进行逻辑与操作,提高了频繁项目集的生成效率,将该算法结合FDM算法应用于实验挖掘,实验结果表明,算法提高了挖掘效率,是可行的.     

数据挖掘中关联规则挖掘算法的应用研究

随着经济和科技的不断发展,数据融合技术和云技术等新型的数据存储方法越来越多,需要处理的数据信息量也就在逐渐增加。这就引发一个问题,如此大规模的数据信息,到底该如何处置才不会出现差错。数据挖掘技术一直以来就是数据处理的主要方法。所以近些年数据挖掘中关联规则挖掘算法的研究越来越深入,本文探讨了这个问题。     

管道完整性数据技术发展现状与展望

完整性管理是基于数据科学决策的方法论,数据管理作为基础直接制约了完整性管理中各项工作的开展。基于中国石油管道完整性管理的现状,明确提出了9个专题61类数据的范围,通过支持精细化管理实现安全与经济的最佳平衡。数据管理的目标从风险专家评估转变为数据分析人员分析风险,再发展成为基于大数据分析的完整性管理,从宏观到微观各层面为管道管理带来深刻变革。对数据管理的现状和挑战进行分析,指出当前应进一步完善对于管道线性资产数据管理的数据模型技术、多维度时空数据的管理、数据对齐、数据利用4种关键技术,并结合国家和公众对管道安全与环保的要求、石油行业经营成本与利润压力持续提高的现状,对未来管道完整性管理中数据与业务的深入融合趋势进行预测,为下一阶段数据管理技术发展指明方向。     

关联规则挖掘在课程相关分析中的应用

本研究介绍了关联规则挖掘的基本概念,分析了经典的Apriori算法,提出一种改进的关联规则挖掘算法,解决了挖掘课程相关性关联规则的问题。改进算法的基本思想:①采用位图数据格式;②系统中会永久保留支持度为0的候选1项集和候选2项集,当系统需要运行时,首先采用数据库的过滤技术,可以很快得到频繁2项集。突破了这一瓶颈,系统运行速度将得到较大的提升。将该算法应用于课程相关性分析,实验结果表明改进的算法性能优于Apriori算法。     

一种基于序列数的关联规则挖掘算法

在关联规则挖掘研究中,为了在产生候选频繁项时减少算法存在的重复计算和冗余候选项,为了在计算支持数时减少扫描事务数据库的次数,提出了一种基于序列数的关联规则挖掘算法,其关联规则适合挖掘任何长度.该算法用事务属性的布尔约简法,将传统事务数据转换成二进制数,然后用数字的递增和递减两种方式双向搜索候选频繁项;算法通过序列数的度来计算支持数,实现一次扫描数据库,有效地提高了算法的效率.     

一种基于序列数的关联规则挖掘算法

在关联规则挖掘研究中,为了在产生候选频繁项时减少算法存在的重复计算和冗余候选项,为了在计算支持数时减少扫描事务数据库的次数,提出了一种基于序列数的关联规则挖掘算法,其关联规则适合挖掘任何长度.该算法用事务属性的布尔约简法,将传统事务数据转换成二进制数,然后用数字的递增和递减两种方式双向搜索候选频繁项;算法通过序列数的度来计算支持数,实现一次扫描数据库,有效地提高了算法的效率.     

基于单向增长链表的关联规则挖掘算法研究

分析研究关联规则挖掘经典算法Apriori和FP-Growth算法,发现其不足之处在于构建和遍历各自数据结构的时间长、内存消耗巨大,降低了算法在时间和空间方面的效率.针对2种算法的缺陷,提出了LK-Growth算法,该算法不再构建FP-Tree,而是构建单向线性链表组结构,能有效地缩短发现频繁模式的时间和节省内存空间开支.研究结果表明,LK-Growth算法的实用性强且挖掘效率更高.     

关联规则挖掘在奶牛营养研究中的应用

【目的】揭示隐含在奶牛营养分析结果数据中影响奶牛瘤胃乙酸/丙酸的关联关系和因素,为奶牛营养研究和奶牛养殖提供参考。【方法】选用奶牛营养分析结果的100条数据,应用改进的关联挖掘算法DMApriori算法,对奶牛营养分析结果中瘤胃乙酸/丙酸低于或高于正常值的情况进行了关联分析。【结果】饲喂一般牧草黑白花牛的瘤胃乙酸/丙酸低于正常值的可信度为70%;当前体质量在598～698 kg的奶牛多为黑白花牛,可信度为75%;日产奶量在10～20 kg的奶牛多为黑白花牛,可信度为70%;乳脂率在3%～4%的奶牛大多为黑白花牛,可信度为88%。【结论】通过对奶牛营养分析中的大量数据进行关联规则挖掘,提取蕴含在这些大量数据中有意义、有价值的信息,可以为奶牛营养研究和养殖的规划调整提供科学依据。     

基于兴趣度的正负关联规则挖掘算法研究

为了解决负关联规则挖掘中海量项集问题和一级剪枝策略效率不高的问题,本文在研究关联规则相关性和兴趣度的基础之上,提出了一种计算项集兴趣度的数学模型,引入了有趣2项集的概念,设计了基于兴趣度的项集剪枝和关联规则剪枝的二级剪枝策略及实现二级剪枝的正负关联规则挖掘算法。     

一种基于频度的空间关联规则挖掘算法

针对传统关联规则挖掘算法没有考虑空间数据的"空间自相关性"和空间关联规则挖掘的自身特点,提出了新的基于频度的空间关联规则挖掘算法,提高了空间关联规则挖掘的效率,并以广州市南沙地区的遥感图像分类结果为例进行关联规则挖掘实验,结果证明新的算法可行性.     

时态数据库周期规律与关联规则的挖掘

提出了一种简单有效、抗干扰的周期规律挖掘算法;研究了关联规则提取过程中的连续属性离散化，并用Apriori算法发现有效的规则。对电信话务量时态数据库的挖掘测试结果表明，该算法实现较简单，执行效率较高，具有实用性和有效性。     

基于完整性数据优化的油气管道维护维修管理

针对传统的油气管道管理仅依靠经验实施治理工作,维修资金处于一刀切的初级水平,维修不彻底,甚至存在个别高风险点遗漏治理的问题,提出了基于完整性数据优化的油气管道维护维修管理方法:在全面实施管道完整性管理的基础上,依托其收集和整合的油气管道基本信息、日常运行、管道沿线环境、风险评价等海量数据,通过综合分析制定科学的工程计划,对其实施有效的维修维护,依据管道风险的发生概率及失效后果进行资源分配,从而确保将有限的资金投入到最需要维修维护的管道上。实例应用结果表明:该方法操作简单,在保证风险削减的前提下,可以降低不必要的投资成本。     

基于数据包络分析的管道完整性管理效能评价

管道完整性管理效能评价是发现管道完整性管理的改进空间,推动其持续完善的有力工具,但目前国内外尚无成熟的相关技术及方法.将管道完整性管理视为多投入、多产出的复杂系统,按照具体业务将其划分为数据管理、高后果区识别等9个业务模块和1个综合管理模块,并针对各模块综合考虑其不同方面、不同属性的各项因素,建立评价指标体系.应用数据包络分析(DEA)方法,对各评价单元进行相对有效性评价,计算其效能值,并对效能结果进行分级,给出评价结论和改进建议.在中国石油某管道公司的应用结果表明,该方法合理、可行.     

基于大数据和神经网络的管道完整性预测方法

为了全面、客观地评价油气管道完整状态,预测管道潜在威胁,提高油气管道安全管理水平,通过采用人工神经网络机器学习理论,建立了对管道潜在威胁和管道状态进行学习和预测的框架与方法。该方法根据管道潜在威胁类型和管道状态定义,充分利用管道建造、施工、操作、运行、失效、检测等各类数据,作为潜在影响因素,以模拟人脑思维和学习的方式,对管道威胁和管道状态进行客观、有效的学习,给出潜在影响因素的重要度排序,利用获取的知识,对管道潜在威胁和管道状态进行客观预测,并将预测结果用于评价管道风险和制定管道检测周期。该方法避免了以往分析方法依赖专家意见、主观性强的缺点,全面利用各类管道数据集,客观地对管道完整性进行预测,对提高管道安全水平和决策效率有重要作用。     

一种高效的关联规则挖掘算法及应用

针对传统Apriori算法在生成频繁项目集时出现的瓶颈问题以及难以对非精确的或者模糊的概念进行挖掘的不足,给出了一种高效的关联规则挖掘算法。算法首先利用模糊集知识对数据库中的数值属性进行了合理的非精确语义转换,然后通过高效剪枝的挖掘方法对频繁项集进行挖掘,并将其应用到农业气象数据库的灾害分析中。试验结果表明,该算法在时间性能上有很大的提高。     

基于多维深层数据关联的医学知识挖掘研究进展

数据科学和情报学方法的核心在于如何从数据中挖掘出知识和见解。在与生命健康密切相关的医学和医疗领域,大数据分析应在相关性挖掘基础上揭示因果关系,增强重复性和解释性。基于因果关系的数据关联对于智库研究和情报感知具有重要意义。文章提出基于多维数据关联和深层数据关联的医学知识挖掘思路,介绍了相关数据平台和研究进展。一是实验室—临床知识转化测度与临界分析;二是科学的技术影响力测度;三是交叉性、变革性创新前沿识别;四是基于全文本、融合文献计量学与计算语言学的不确定性医学知识挖掘。前三个方面拓展了医学知识的空间,包括从实验室到临床,从科学空间到技术空间。对于确定性/不确定性医学证据和论断挖掘深化了对医学知识的因果关系的揭示和解释。