省级气象大数据存储模型设计

从结构化、非结构化气象数据的存储、索引两方面,基于大数据相关技术设计一套省级气象大数据存储模型。结果表明,非结构化气象小文件利用Avro进行数据模式设计、依据存储规则合并打包为Avro格式文件存储在HDFS上,减少文件数,节省内存资源的消耗;规则的结构化气象数据利用HBase提出表、列字段、行键设计的宽表存储设计思路;利用ElasticSearch设计统一的省级气象大数据存储索引库,统一检索入口,提高检索效率。