基于Hadoop的学习资源库模型研究

随着Mooc的出现,学习资源共享问题已经得以解决,本文根据海量学习资源的特性,提出Vmware虚拟技术和Hadoop云平台构建学习资源库数据存储架构。     

基于云计算技术的家禽养殖 管理系统研究与实现

为了适应当前我国家禽养殖向集约化,规模化发展的现状,以肉鸡养殖为研究对象,构建了一个适用于 规模养殖的家禽养殖管理系统,利用Hadoop 和HBase 等云计算技术解决了由RFID,传感器等感知节点产生的海量 数据的存储与处理问题,实现了养殖过程数据的实时采集与查询,家禽生长状况与禽舍环境的实时监控、以及养殖 场的数字化生产经营管理,测试与运行结果表明,该家禽养殖管理系统能较好地满足并解决养殖场的实际需求,为 养殖场科学管理提供可行的系统平台.     

基于Hadoop的蛋鸡设施养殖智能监测管理系统研究

为实现对蛋鸡生产过程中长期积累的海量数据进行高效存储和实时查询,利用Hadoop生态系统,设计了规模化蛋鸡设施养殖智能监测管理系统。针对环境数据的实时监测及大规模数据查询,用My SQL数据库存储近期数据、HBase存储历史数据,有效提升了检索速度;针对海量异构视频数据的统一管理,设计实现了基于MapReduce并行处理框架的分布式转码模块,将1.5 GB的视频分割为多个128 MB分段后进行转码,转码效率提高了50%。该系统实现了规模化蛋鸡场生产养殖中对实时信息、历史信息、基础设施信息、生产过程信息的统一管理,并提供了统计分析模块对采集获取的数据进行整合分析,开发了Web端网页版本及移动端APP版本的智能监测管理系统,便于用户进行实时访问,提高了生产养殖的工作效率。     

基于Hadoop的气象大数据分析GIS平台设计与试验

针对海量气象数据在传统Web GIS平台下存储和分析计算受到限制的问题,提出基于Hadoop的分布式计算和存储框架,使用了Hadoop生态体系中的HDFS分布式文件存储框架来存储管理分析海量气象数据。在海量数据的并行计算分析方面,使用MapReduce作为分布式计算编程模型,该模型通过分析海量气候数据可对农业生产进行决策。最后,利用地理信息系统空间可视化技术,在前端页面以三维形式对分析结果进行展示,并分析比较数据量和集群中节点数对计算耗时的影响。试验结果表明,使用分布式多节点集群可以有效提高海量气象数据的存储和计算效率,解决了传统Web GIS平台数据存储与计算的局限性问题。     

基于Solr的农田数据索引方法与大数据平台构建

针对农田数据在高吞吐量、高并发、多条件处理过程中易产生运算负载大、响应速度慢等难题,研究了负载均衡大规模集群数据处理技术,优化了多条件检索时Hbase农田数据库,提出了基于Solr的二级非主键索引方法,搭建了基于Hadoop的农田大数据平台,采用农机深松、植保、保护性耕作等8种作业生成的100TB数据对平台进行了检索实验和压力测试实验。实验结果表明,多条件检索时,优化后的技术模型在数据规模达到5×107条时,系统的响应时间小于1s,优化的性能与原生Hbase相比提高了3倍;在模拟用户达到5×105次时,系统的QPS及TPS提高了1倍左右、RT提高了2.5倍,系统的平均响应时间为183ms。本研究解决了高吞吐量、高并发导致农田数据检索效率低的问题,提高了海量农田数据实时处理的计算能力。     

揭秘Hadoop生态圈

Hadoop的两大核心是HDFS和YARN。Hadoop是一个软件框架,能够对海量数据进行分布式处理。Hadoop的特点是可靠、高效、可伸缩。     

基于农经云数据库的食用菌电子商务订单资源整合系统设计

利用贵州农经云大数据平台,设计了食用菌电商平台整合订单系统,实现了多电商平台多订单的整合、数据采集和订单统计等功能,可借助农经云的大数据管理平台实现多电商多订单的有效整合管理。     

基于Hadoop云平台的联合收割机远程监控系统研究

建立了云计算的海量数据处理数学模型和算法,并将Hadoop分布式计算方法引入到了数据库处理系统中,实现了数据库数据的自动分区和主从节点的设置,以及数据的分布式计算功能,得到了数据的处理速度、容量和传输速率等系统性能参数;结合农业生产中联合收割机应用越来越广泛,加之农田小路比较狭窄,给农田交通运输带来了的巨大压力等问题,提出了一套能够提供定位、监控、导航、车况采集等综合服务的联合收割机远程监控系统。通过对系统的测试,证明云存储平台在联合收割机监控系统中具有良好的表现,并具有很好的扩展性,为现代化的农业收割机监控系统提供了优越的条件。     

海量农业科学数据存储体系架构与方法研究

为了解决应用传统数据库架构存储和管理分散而海量的农业数据存储能力不足和管理困难的问题,在Hadoop框架下研究了面向海量农业数据的分布式计算与存储技术,提出了基于Hadoop的相邻区域边缘化存储和混合式索引分布与检索技术。测试和实验结果证明,应用这种技术所构建的分布式存储系统,能很好地实现对海量农业数据的存储和管理。     

林业科技成果标识方法及其信息管理系统设计与实现

林业科技成果是林业科技进步与创新的基础,建立统一的标识体系和管理系统有助于实现林业科技成果的共享和有效利用。文中在分析林业科技成果特点及管理存在问题的基础上,基于对象标识符技术构建了林业行业科技成果的顶层标识与解析机制,构建出一种新的科学数据共享交换方法,并且基于分布式系统基础架构（Hadoop）技术实现林业科技成果标识管理系统的方案设计并介绍了管理平台的应用领域,最后提出了林业科技成果数据管理的发展建议。使用该平台可有效实现全国林业科技成果在同一个标准体系下的唯一标识,从而为打破林业行业成果共享壁垒奠定基础。