大数据时代图书馆发展的应对之道

结合大数据时代成功案例,介绍了大数据的概念、特点、关键技术与应用领域,提出大数据时代为图书馆带来了发展契机,也指出其存在问题,最后提出大数据图书馆应对之道应从构建完善的信息资源体系建设、搭建图书馆Hadoop大数据处理平台、提高数据分析处理能力、创建知识服务增长点、关注用户隐私问题等7方面展开.     

基于Hadoop的农技推广数据存储平台设计

农业数据具有大量、复杂、多样等特点,随着农技推广工作的进一步推进,将产生PB级以上的数据,应用传统的数据处理技术来处理这些海量数据,不仅低效而且需要耗费大量资源,如何对海量农技推广数据进行高效存储和处理成为亟待解决的问题。以Hadoop处理技术为基础,设计了一种农技推广数据存储平台,为上述难题提供了一种解决途径。     

基于Hadoop的葡萄种植环境数据处理及性能测试

随着农业大数据时代的来临,传统串行程序及关系数据库已经不能满足对大数据处理的需求,使用分布式平台对数据进行处理逐渐取代传统的数据处理技术。本文使用Hadoop分布式平台,结合非关系型数据库Hbase和并行编程模型MapReduce,对香格里拉地区酿酒葡萄种植区的环境数据的存储和计算进行了设计,测试了Hbase对数据的存储性能以及MapReduce用于回归分析的性能,并将MapReduce并行计算程序与单机串行程序进行了性能对比。结果表明,通过对Hbase进行合适的配置,数据写入时间随着节点的增加而减少,存储性能具有良好的扩展性;MapReduce在处理少量数据时效率低于串行程序,但随着数据量增加,其计算效率明显优于串行程序。     

基于大数据的农产品精准智能辅助决策平台的构建

为农产品生产和经营者提供精准智能决策支持,采用Hadoop分布式架构,开发基于大数据的农产品精准智能辅助决策系统。该系统包括以分布式文件系统和HBase分布式数据库构成的数据存储层,以Map/Reduce并行计算模型作为基础,结合运用分类和回归树算法构建的数据处理层;系统能够对农业数据进行精准的数据分析和数据挖掘,可为农产品生产和经营者提供精准智能决策支持。     

基于Hadoop分布式文件系统的商业银行大数据分析

针对当前Hadoop分布式文件系统数据分析时存在的数据读取时间长,数据本地化率低等问题,本文提出了一种基于Hadoop分布式文件系统的商业银行大数据分析方法。首先对Hadoop分布式文件系统的工作原理和流程进行分析,找到引起不足的原因,然后根据商业银行大数据的特点,对Hadoop分布式文件系统的数据副本数量和数据分布位置进行相应的改进,最后通过仿真模拟实验对数据读取速度、本地化率、磁盘负载等进行分析。结果表明,本方法可以有效减少数据读取时间、提升数据本地化率并均衡磁盘负载,整体性能要明显优于对比方法,具有更好的实际应用价值。     

大数据应用技术探究

根据大数据各个环节处理的不同,对大数据在存储、管理、处理、分析等环节的工程技术进行了简要的概述,介绍了各环节主流技术的实现原理及其特点,探讨了存在的一些问题和缺点。列举并讨论了一些在大数据领域具有代表性的科技企业使用的大数据技术。经过比较认为,大数据主要的技术流派为两种。其一是谷歌公司的大数据三大技术,其二是开源世界的Hadoop,大部分工程应用都采用了基于Hadoop的技术。     

基于Hadoop的业务过程模型管理方法研究

目前现有业务过程模型研究的共同特点便是基于单机环境来构建业务过程库,并基于传统关系数据库来管理业务过程模型,完成相关的检索、存储等操作。为提高大规模业务过程模型检索与存储的效率,本文提出一种新的业务过程模型管理方法。该方法采用基于Hadoop大数据处理平台对业务过程模型进行管理,并采用Map/Reduce编程框架和HDFS文件系统分别对业务过程模型进行检索和存储,提高了业务过程模型存储效率,减少了模型检索匹配的时间。通过原型系统进行试验验证评估,证明了所提方法在存储和检索效率方面高于单机环境。     

基于云计算的并行关联规则挖掘

FP-Growth算法的效率约比Apriori快一个数量级,但存在FP-tree可能过大和串行处理等两大缺点,为此提出了基于局部FP-tree的并行关联规则挖掘算法P-FP-Growth。为实现基于云计算的并行关联规则挖掘,用MapReduce计算模型描述了P-FP-Growth算法,在Hadoop下进行了编程实现,得出了频繁模式挖掘结果,验证了该算法在云计算平台进行部署和执行的可行性。对比了算法分别在局域网多节点并行处理和在Hadoop平台执行的所需时间。     

数据库大数据分布式存储技术研究

随着信息技术的不断发展,互联网用户的数量在不断的增加,数据量增长的速度也越来越快。在大数据时代,传统数据库和集中式存储技术在处理大数据时出现了处理效率低、处理速度慢等问题,无法满足现代信息数据处理的需要。大数据分布式存储技术是一种新型的数据存储技术,增强了数据库的数据处理能力,提高了数据库的数据处理效率,加快了数据库的数据处理速度,满足了大数据时代信息数据处理的需要。本文主要研究数据库大数据分布式存储技术,希望能为大数据存储技术研究提供一些借鉴。     

农产品流通大数据分析平台构建

随着移动互联网、大数据、云计算、物联网等信息技术不断发展,大大的加快了我国农业信息化体系的建设。结合大数据理论方法,运用Hadoop技术框架、Hive数据分析技术,构建了农产品流通大数据分析平台,该平台能够解决传统分析平台存储数据量小、数据结构单一等问题。