数据密集型计算环境下的离群点挖掘算法

在数据密集型计算环境中，数据的海量、高维、分布存储等特点，为数据挖掘算法的设计与实现带来了新的挑战。基于MapReduce模型提出网格技术与基于密度的方法相结合的离群点挖掘算法，该算法分为两步：Map阶段采用网格技术删除大量不可能成为离群点的正常数据,将代表点信息发送给主节点；Reduce阶段采用基于密度的聚类方法,通过改进其核心对象选取,可以挖掘任意形状的离群点。实验结果表明,在数据密集型计算环境中,该方法能有效的对离群点进行挖掘。     

基于Hadoop的气象大数据分析GIS平台设计与试验

针对海量气象数据在传统Web GIS平台下存储和分析计算受到限制的问题,提出基于Hadoop的分布式计算和存储框架,使用了Hadoop生态体系中的HDFS分布式文件存储框架来存储管理分析海量气象数据。在海量数据的并行计算分析方面,使用MapReduce作为分布式计算编程模型,该模型通过分析海量气候数据可对农业生产进行决策。最后,利用地理信息系统空间可视化技术,在前端页面以三维形式对分析结果进行展示,并分析比较数据量和集群中节点数对计算耗时的影响。试验结果表明,使用分布式多节点集群可以有效提高海量气象数据的存储和计算效率,解决了传统Web GIS平台数据存储与计算的局限性问题。     

云计算在高通量测序数据分析中的应用

高通量测序技术在DNA测序发展历程中具有里程碑的意义。本文首先介绍了高通量测序及其主要应用。高通量测序应用广泛,产生的数据具有数据量大、序列短等特点。高通量数据分析面临巨大挑战。一方面,我们可以不断改进算法,来提高软件运行的效率,另一方面,我们可以利用更多更快的硬件资源提高数据处理的效率。云计算具有低成本、高自动性、高灵活性等特点,可作为高通量数据分析的一种解决方案。云计算已经在高通量数据分析中有广泛的应用。本文介绍了几款常用软件和综合分析平台,为选择和使用和该类软件提供指导。     

基于Hadoop的高校图书馆数字资源共享

鉴于国内外图书馆大数据共享性不高,发展到如今仍缺乏跨系统一站式服务平台的现状。文章侧重于从技术方面提高数字资源的共享利用,提出了基于Hadoop的图书馆数字资源共享模式体系,解决资源共享度不高,缺乏系统性管理的问题,同时为读者提供多方位的服务。系统利用MapReduce分布式计算框架和资源管理系统并行处理数字资源数据,实现资源的快速关联性查找,提高了资源的处理效率,引入基于HDFS图书馆复合大数据存储系统,可保障资源共享系统的存储需求,有效提高读者访问效率,同时解决传统存储技术所面临的可扩展性等问题。     

基于MapReduce模型的生物量遥感并行反演方法研究

MapReduce模型是一种基于云计算平台下新型的并行编程模型。文中将MapReduce并行编程模型应用到遥感影像并行化处理中,以2005-2009年5a生长季期(5-10月)MODIS13Q1数据产品为数据源,对青海省三江源地区的生物量(草地总生物量和可食草量)进行并行化反演,研究基于该模型的生物量遥感并行反演方法。实验分析结果表明:基于该模型的并行生物量遥感反演结果与经过精度验证的串行反演结果一致,并行化反演结果准确、可信;并行化反演效率较串行化反演效率有大幅提高,并随着计算节点的增加,并行效率不断提高。     

云计算环境下气象大数据服务的应用

设计了云计算环境下气象大数据服务框架,该框架设计的气象服务主要包括气象业务服务、气象科研服务以及公共气象服务。MapReduce分布式处理技术可以有效地进行分布式处理服务,是提供气象大数据服务的基础计算架构。基于MapReduce对上海宝山站气象日值数据(2013年1~12月)进行了气温以及降水量统计,并给出了相应示例。云环境下气象大数据的应用研究可以提升整体气象业务服务水平,加快各地气象部门资源整合与资源共享的步伐,同时对于加快"大数据时代"气象信息化进程具有重要作用。