基于Hadoop的农技推广数据存储平台设计

农业数据具有大量、复杂、多样等特点,随着农技推广工作的进一步推进,将产生PB级以上的数据,应用传统的数据处理技术来处理这些海量数据,不仅低效而且需要耗费大量资源,如何对海量农技推广数据进行高效存储和处理成为亟待解决的问题。以Hadoop处理技术为基础,设计了一种农技推广数据存储平台,为上述难题提供了一种解决途径。     

基于微服务架构的农业数据云存储研究

为解决传统的关系型数据库系统中农业数据的存储能力不足及管理困难的问题,本文提出一种基于微服务架构的农业数据云存储平台,系统基于SpringCloud微服务架构设计,服务模块功能单一,边界明确,服务之间相互解耦,可扩展性强,提升了开发和维护效率。采用Hadoop分布式集群,可实现海量农业数据的存储。该系统测试的结果表明,所构建的云存储平台性能稳定,可对农业大数据的存储和管理方法提供参考。     

基于云端的农业病虫草害大数据图文数据库的设计与实现

针对病虫草害大数据的存储分散和展示无系统化的问题,提出采用Spark核心技术搭建大规模集群,将HDFS(Hadoop distributed file system)分布式文件存储系统、Mongo DB数据库和My SQL数据库相结合,集病虫草害信息管理、信息查询、用户管理和数据库维护等功能于一体,实时更新、展示、存储和管理海量多源异构病虫草害数据,构建基于云端的农业病虫草害大数据图文数据库信息服务平台,在提高农业病虫草害的数字化管理、信息共享等方面具有极其重要的意义。     

网格技术在农业设施信息化中的应用

农业数据已经成为一个重要的资源,如何存储、分发、组织、管理、高性能处理、分析和挖掘海量分布数据成为众多应用需要解决的首要问题。本文主要就网格技术与农业信息化的使用进行一定的探讨。     

基于Hadoop的学习资源库模型研究

随着Mooc的出现,学习资源共享问题已经得以解决,本文根据海量学习资源的特性,提出Vmware虚拟技术和Hadoop云平台构建学习资源库数据存储架构。     

基于云计算的农业大数据共享服务平台研发

【目的】为了整合多源、异构、海量农业数据,基于云计算等技术设计并实现农业大数据开放共享平台,有利于农业数据资源的充分利用。【方法】文章依据科学合理的标准规范,以农业大数据资源编目元数据、大数据整合集成与建库、农业大数据共享服务为主线,利用Hadoop大数据技术,基于J2EE平台和构件化开发思路,构建农业大数据共享服务平台。【结果】该平台包括农业大数据集成管理、农业大数据共享服务管理和元数据管理,其中农业大数据集成管理实现了对各渠道所得农业数据进行整合集成、数据质量控制和更新管理,农业大数据共享服务子系统实现了对分散、多源、异构农业非空间数据的目录导航、查询检索与共享交换等服务,是用户查询访问和使用农业大数据的统一入口,元数据管理子系统实现了对多源大数据的统一描述、发布管理与权限控制。【结论】该平台在贵州省进行了开发应用,实现了贵州省农业数据资源的统一集成、统一管理、统一共享和统一服务,为贵州省农业云服务及其各类应用提供了数据基础。     

基于WebGIS的新疆耕地资源数据库系统的设计与实现

[目的]用大型数据库软件进行集中管理和规划新疆耕地资源数据,加强耕地资源数据的共享和利用,为土地管理决策者和农业生产者提供技术支撑.[方法]基于网络地理信息系统的原理和实现技术,在DOTNET平台下用ASP.NET+ ArcGIS Server技术设计建立新疆耕地资源数据库.[结果]通过对各种耕地资源的数字化,采用现代数据库技术、GIS技术和网络技术实现海量耕地资源数据的存储、组织和管理,并在此基础之上实现耕地资源数据的网络共享与应用.[结论]该系统较好地实现了海量耕地资源数据的信息化管理,对提升耕地资源的管理水平和更好地指导农业实践发挥了重要作用.     

基于Hadoop的农业大数据挖掘系统构建

农业数据具有数据量大、类型复杂、分散、获取难度大等特点。随着现代农业的发展,出现了大量非关系型、非结构化数据,大数据环境下的数据挖掘技术能够高效地从海量数据中挖掘有价值的信息,有助于探索农业信息潜在的相关性和规律。文章分析了农业数据的特点、数据分析现状和大数据技术的优势,构建了基于Hadoop的农业大数据挖掘系统,分析了系统的架构、模块设计及系统实现。     

大数据应用技术探究

根据大数据各个环节处理的不同,对大数据在存储、管理、处理、分析等环节的工程技术进行了简要的概述,介绍了各环节主流技术的实现原理及其特点,探讨了存在的一些问题和缺点。列举并讨论了一些在大数据领域具有代表性的科技企业使用的大数据技术。经过比较认为,大数据主要的技术流派为两种。其一是谷歌公司的大数据三大技术,其二是开源世界的Hadoop,大部分工程应用都采用了基于Hadoop的技术。     

基于Hive的高寒草地海量数据高效分析系统设计研究

解决高寒草地的退化问题需要对高寒草地退化现状进行综合评价，而这需要相关数据作为支撑，本研究设计并实现了一个基于Hive的高寒草地海量数据高效分析系统，能对高寒草地的海量数据进行可靠、高效地存储分析。首先，平台设计基于Hadoop、Hive、Sqoop环境，通过节点和集群配置等步骤搭建完成；然后，通过期望最大化（EM）算法进行数据填充、数据导入、数据分区存储等步骤，完成数据抽取、转换、加载（ETL）及数据存储；最后，系统通过混合函数编码实现模糊查询功能，实验测试表明系统达到了预定的效果。随着文件大小的增加和总体数据规模的增大，系统整体存储和读取时间一直处于增长的状态，但平均运行时间（平均处理1 MB数据所使用的时间）处于降低的趋势，说明随着数据量的增加，系统并行处理海量数据的能力得到体现。使用2014年青海省称多县高寒草地样方监测数据和部分虚拟数据（总数据量约为3 958万条，7.56 GB），对Hive集群以及关系型数据库SQL Server的数据查询效率进行对比。结果显示，当查询数据量为3 958万条时，Hive集群数据查询的时间为SQL Server查询时间的67.8%。说明在数据量较大时，系统数据查询的效率比SQL Server更高。通过HiveQL对高寒草地生态数据进行分析处理，并开展相应的对照实验，对比发现，Hive数据分析技术与对照实验的处理结果相同。综上，将分布式数据仓库技术应用于高寒草地海量数据的存储与分析，较传统的数据存储与分析技术相比有明显的进步。本系统对海量数据处理效率高、可开发性强，可以很好地满足海量高寒草地数据的存储和分析要求。     

基于Mahout分布式协同过滤推荐算法分析与实现

随着信息技术和互联网的发展,在信息过载的时代,用户面对海量的信息,难以正确选择。协同过滤推荐是个性化推荐中比较成熟的算法,但其稀疏性、冷启动、可扩展性问题仍然存在,尤其是不能应用于分布式推荐。在Hadoop平台上,Mahout实现了分布式基于项目的协同过滤推荐算法,该算法能够有效解决传统算法的海量数据处理的效率问题和可扩展性问题。实验结果表明,Mahout上基于项目的协同过滤推荐算法具有较好的计算高效性和可扩展性。     

基于区块链的农情数据可信融合共享模型设计与实现

为了提高现有农产品区块链溯源模型中的数据传输和查询效率，提出了基于区块链的农情数据可信融合共享模型。首先构建农情数据采集存储优化模型，通过Kafka节点接收网关数据并将结构化数据、非结构化数据哈希值存于区块链，非结构化数据存储于HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），提升了数据传输效率。其次设计农情数据融合重组共享模型，利用Spark将结构化数据进行重组融合，将融合后的结构化数据、非结构化数据索引存储于Hbase，融合数据哈希值存储于区块链，提升了溯源效率。最后构建农情数据可信验证应用模型，通过比对Hbase中的融合数据哈希值与链上融合数据哈希值、HDFS中各环节非结构化数据哈希值与链上环节哈希值甄别数据真伪，保证了数据的真实性、可信性。在此基础上设计了基于区块链的农情数据可信融合共享系统，并在一玉米供应链进行了实际应用。进行相关测试后发现，与传统的单链型追溯模型相比，本模型全供应链数据存储时间缩短5.26 %，数据查询时间缩短43.47 %。应用结果表明，此模型可以在保证数据可信前提下，通过数据的融合共享提高数据传输效率与数据查询效率，可为农产品供应链溯源系统的研发提供参考。     

洞庭湖区农业环境信息数据库建设研究

针对当前洞庭湖区农业环境信息组织相对滞后的现状，基于ArcSDE+SQLServer2000的数据库构建理论，结合对洞庭湖区各类农业数据源进行标准化的数据整理分析与质量控制，阐述了基于优化构建理论为支撑进行综合农业环境信息数据库设计及实现的方法.研究结果表明，优化理论为区域性农业环境信息数据库提供了全套完整的数据存储与管理机制，在海量数据组织、复杂格式数据存储和数据互操作等核心技术问题上获得了优化，从而为区域性农业环境数据库建设提供了相对规范化与更加高效的理论与技术参考.     

农村综合信息服务平台云存储技术研究与应用

云存储技术通过集群应用、虚拟化、分布式文件系统等将网络中大量不同类型的存储设备集合起来协同工作,以此缓解老式数据中心的存储压力。目前许多涉农信息平台的文件管理与共享浪费了极大的空间,越来越多涉农企业的发展需要一个基于云存储技术的农村综合信息服务平台。以云存储为设计基础,一方面通过研究重复数据删除技术,提出了一种在客户端利用Hash的MD5算法进行文件级别的重复数据删除操作后再将数据存入云服务器中的方法,以此为涉农信息平台提供企业内部统一的文件共享;另一方面利用实时性更强,占用网络带宽更少,以及通信效率更高的Web通信协议,完整地采用基于HTML5 Web Socket协议的Web通信来实现涉农企业间的网络商务洽谈。     

基于空间元数据的分布式农业资源地图服务的研究

本文针对目前大量农业资源数据格式不统一和现有的农业资源地图服务孤立、集中的问题，以重庆市农业资源地图服务的开发为例，采用空间元数据技术和分布式技术从数据的组织、地图服务的服务模式、分布式农业资源地图服务的结构三个方面来阐述了基于空间元数据的分布式农业资源地图服务的实现，最后简要介绍了重庆市农业资源地图服务的主要功能。     

基于Android 手机的农业环境信息采集系统设计与实现

针对我国以农户为主的小规模农业生产特点,基于Android手机、蓝牙技术、信息采集技术、传感器技术,设计实现了一套低成本的农业环境信息采集系统,该系统由环境感知及扩展、数据存储、手机蓝牙通信等基于ARM的信息采集终端与基于Android 系统的数据管理软件组成。信息采集终端通过蓝牙将感知的农业环境信息传输给Android手机,手机端的数据管理软件对农业环境信息进行处理与存储,并利用无线网络功能将数据发送到远程农业环境数据中心。