基于Hadoop的气象大数据分析GIS平台设计与试验

针对海量气象数据在传统Web GIS平台下存储和分析计算受到限制的问题,提出基于Hadoop的分布式计算和存储框架,使用了Hadoop生态体系中的HDFS分布式文件存储框架来存储管理分析海量气象数据。在海量数据的并行计算分析方面,使用MapReduce作为分布式计算编程模型,该模型通过分析海量气候数据可对农业生产进行决策。最后,利用地理信息系统空间可视化技术,在前端页面以三维形式对分析结果进行展示,并分析比较数据量和集群中节点数对计算耗时的影响。试验结果表明,使用分布式多节点集群可以有效提高海量气象数据的存储和计算效率,解决了传统Web GIS平台数据存储与计算的局限性问题。     

基于Solr的农田数据索引方法与大数据平台构建

针对农田数据在高吞吐量、高并发、多条件处理过程中易产生运算负载大、响应速度慢等难题,研究了负载均衡大规模集群数据处理技术,优化了多条件检索时Hbase农田数据库,提出了基于Solr的二级非主键索引方法,搭建了基于Hadoop的农田大数据平台,采用农机深松、植保、保护性耕作等8种作业生成的100TB数据对平台进行了检索实验和压力测试实验。实验结果表明,多条件检索时,优化后的技术模型在数据规模达到5×107条时,系统的响应时间小于1s,优化的性能与原生Hbase相比提高了3倍;在模拟用户达到5×105次时,系统的QPS及TPS提高了1倍左右、RT提高了2.5倍,系统的平均响应时间为183ms。本研究解决了高吞吐量、高并发导致农田数据检索效率低的问题,提高了海量农田数据实时处理的计算能力。     

基于Hadoop云平台的联合收割机远程监控系统研究

建立了云计算的海量数据处理数学模型和算法,并将Hadoop分布式计算方法引入到了数据库处理系统中,实现了数据库数据的自动分区和主从节点的设置,以及数据的分布式计算功能,得到了数据的处理速度、容量和传输速率等系统性能参数;结合农业生产中联合收割机应用越来越广泛,加之农田小路比较狭窄,给农田交通运输带来了的巨大压力等问题,提出了一套能够提供定位、监控、导航、车况采集等综合服务的联合收割机远程监控系统。通过对系统的测试,证明云存储平台在联合收割机监控系统中具有良好的表现,并具有很好的扩展性,为现代化的农业收割机监控系统提供了优越的条件。     

面向网络自媒体大数据挖掘的高校舆情控制策略研究

随着自媒体时代的到来,人们通过各种社交平台表达自己的意愿越来越方便,特别是思想意识还尚未成熟的高校大学生,非常容易受到网络负面消息的影响,成为一些不当言论的传播者,并且该状况具有一定的隐匿性和突发性,对高校网络舆情监管工作提出了严峻挑战。为此,提出了面向网络自媒体大数据挖掘的高校舆情控制策略,主动获取舆情数据,并对其进行预处理,然后对其建模以发现舆情传播规律,最后根据分析结果给出科学、合理的引导策略,提升高校网络舆情监管效果,为人才培养提供良好的网络环境。     

基于大数据分析的温室智能监控平台研究

随着精细农业的发展,农作物生长指标和环境参数的监测十分关键。传统的人工采集分析方法存在严重滞后性,无法完成对农作物生长状况的实时监控,导致农业生产效率低下。为有效提升农作物生产质量和产量,基于大数据技术,完成了智能安全监控平台设计。通过对农业生产大棚进行需求分析,完成大棚智能安全监控平台系统架构的设计,并对数据管理服务器、Web服务器及客户端服务器分别进行优化设计;构建了大数据分析Hadoop服务器集群架构,完成了智能安全监控平台软件功能结构和数据库结构的设计。实践应用表明:基于大数据分析的智能安全监控平台能够实时监测农作物生长状态,实现农业生产设备的智能精确控制,且为农业生产提供十分准确的生产决策信息,提升了农业生产效益。     

基于Hadoop的蛋鸡设施养殖智能监测管理系统研究

为实现对蛋鸡生产过程中长期积累的海量数据进行高效存储和实时查询,利用Hadoop生态系统,设计了规模化蛋鸡设施养殖智能监测管理系统。针对环境数据的实时监测及大规模数据查询,用My SQL数据库存储近期数据、HBase存储历史数据,有效提升了检索速度;针对海量异构视频数据的统一管理,设计实现了基于MapReduce并行处理框架的分布式转码模块,将1.5 GB的视频分割为多个128 MB分段后进行转码,转码效率提高了50%。该系统实现了规模化蛋鸡场生产养殖中对实时信息、历史信息、基础设施信息、生产过程信息的统一管理,并提供了统计分析模块对采集获取的数据进行整合分析,开发了Web端网页版本及移动端APP版本的智能监测管理系统,便于用户进行实时访问,提高了生产养殖的工作效率。     

大数据支持下的农机作业数据挖掘与决策分析技术研究

本研究基于大数据技术,探索了农机作业数据挖掘与决策分析技术,旨在为农业生产提供智能决策支持。笔者通过深入分析大数据技术特点,建立了系统化的数据采集、挖掘分析和智能决策支持框架。实证研究验证了该框架在农机作业领域的有效性和潜在应用,为农业生产提供了可靠的智能化管理方案。     

基于智能制造和大数据挖掘的农机数字化设计研究

介绍了智能制造和大数据挖掘的概念和关键技术,结合农机制造行业过程的特性,设计了农机数字化设计整体框架及基于大数据挖掘的农机零部件选型模块,实现了一套基于智能制造和大数据挖掘的农机数字化平台,可以实现农机零部件的协调和智能优化设计.实际应用表明:采用数据化设计平台可以提高设计人员之间的协同能力,大大缩短了农机开发周期.     

大数据挖掘平台在电力运营监测工作中的应用

大数据挖掘平台在电力运用监测工作中的应用具有绝对优势,可以提高电力数据的准确性和有效性,在很大程度上增强电力运营监测工作的实效性。电力运营监测工作运用大数据挖掘平台是发展的必然趋势,只有将大数据价值充分发挥出来,才能促进电力运营监测工作的可持续发展。文章主要对大数据挖掘平台在电力运营监测工作的应用进行探讨,供参考。     

基于大数据和WiFi的采摘机器人远程操作系统研究

首先介绍了大数据Hadoop技术的原理和架构,然后设计了采摘机器人运动模型和定位导航模型,并实现了采摘机器人定位导航算法,最后介绍了采摘机器人远程操作系统总体方案和硬件设计。试验结果表明:远程操控系统通过对采摘机器人的转向和移动控制,可以准确控制采摘机器人沿着果树中间道路移动,以顺利完成采摘作业,符合设计需求,对采摘机器人的远程控制具有一定的参考意义。     

电子商务中的数据挖掘技术应用

本文结合电子商务中的数据挖掘技术应用,提出选择数据挖掘技术的几个重要方法,以便开发出有效、实用的数据挖掘系统;讨论了将数据挖掘技术应用于电子商务数据挖掘的最终目的和目前尚需解决的问题.     

电子商务中的数据挖掘技术应用

本文结合电子商务中的数据挖掘技术应用,提出选择数据挖掘技术的几个重要方法,以便开发出有效、实用的数据挖掘系统;讨论了将数据挖掘技术应用于电子商务数据挖掘的最终目的和目前尚需解决的问题。     

中国饲料营养大数据分析平台研制

饲料粮缺口的逐渐加大,导致中国饲料粮安全问题逐步转化为粮食安全问题。因此,全面整合饲料营养基础数据资源,提高一切可利用饲料资源的营养价值,成为中国今后长期保障国家粮食安全的技术措施之一。本研究依据16类中国饲料原料描述规范和属性数据标准,全面用数字化模式收集整理了自“六五”至“十三五”期间累积的50万条以上已有饲料资源的种类、空间分布、饲料成分含量及营养价值特性数据,利用MySQL网络数据库及PHP程序语言,开发了新一代饲料营养大数据分析平台（http：//www.chinafeeddata.org.cn/）并提供Web数据共享功能。首先,平台提供所有入库数据的可视化分析,可实现单个或多个饲料多种养分和多种图形模式的直观比对。通过二维码技术提供所有饲料营养属性数据及饲料实体样本溯源数据的移动端实时分享与下载服务。其次,平台构建了通过已知饲料概略养分在线预测其他有效养分的回归模型,为饲料原料养分变异提供动态分析。最后,平台基于地理信息系统技术,将饲料概略养分和主要矿物元素含量数据与其所处的地理位置分布相结合,实现了饲料营养数据地理信息图谱的分布查询及对比分析,同时提供各种数据的下载方式,为已有饲料数据的全面应用带来便利。研究表明,拓展饲料资源数据并提供饲料养分的预测分析模型,可最大化利用已有饲料养分数据的价值,进一步嵌入各类饲料配方的网络计算模块,可以达到饲料营养数据的一站式服务及数据的最大化升值服务。     

基于数据挖掘的智慧农业平台设计

在信息技术迅猛发展的今天,农业信息网站的功能也有待提高,不仅要做到能够浏览、查询和下载,而且要进一步发展,实现对数据的动态分析与预测。专业的数据挖掘在技术上能够做到,但是由于太强的专业性并不能被普通的农业人员使用。在分析了目前农业平台存在问题的基础上,提出了构建基于数据挖掘的智慧农业平台的设想,对于一些基本必要的如地力等级分析和产量预测等功能进行了设计与实现,具有操作简单、易于分析等特点。      

农业大数据分析平台建设的研究

随着云计算、物联网及信息技术的飞速发展,社会中出现各种各样的数据,且其数量还在呈几何倍数增长,这也是大数据时代的重要特征.我国是农业大国,农业大数据的建立和发展成为现代农业发展的战略需求,相关的数据分析平台也成为农业大数据服务农业的重要载体.基于此,文章从农业大数据的概念出发,分析农业大数据分析平台特点与当前发展现状,...     

基于大数据平台的农业智能信息处理系统设计

针对现有的农业生产经营中存在的信息处理问题,基于大数据平台开发了一种农业智能信息处理系统。介绍了智能信息处理系统的总体结构,分析了各功能模块的运行原理,搭建出一种能够围绕农业生产经营过程数据进行智能化存储、提取分析及决策的信息处理系统。采用多任务场景测试的方式进行系统测试,结果表明：农业智能信息处理系统的各项运行指标正常,性能达到设计要求,可有效提升农业生产经营过程中的信息处处理水平。     

基于电子商务中web挖掘关键技术研究

web数据挖掘是数据挖掘技术在web环境下的应用,是从大量的web文档集合和用户浏览网站的数据中发现蕴涵的、未知的、有潜在应用价值的、非平凡的模式的过程。web数据挖掘可以在许多领域发挥作用,而电子商务为数据挖掘提供了丰富的数据源和新的研究课题。     

大数据时代下农产品电商营销方式研究

随着网络科技的日渐成熟,“互联网+”“大数据”逐步渗透到生活的各个方面。在大数据时代下,农产品电子营销方式对于发展现代农业起到了十分重要的作用。运用互联网销售农产品,不仅突破了传统营销受到的时间和空间的制约,还彻底打破了农产品信息不对称的局面,进而推动农产品结构的转型升级。基于此,笔者阐述了农产品电商营销的优势,分析了各种农产品电商营销方式,探讨了大数据时代下农产品电商营销现状,提出了大数据时代下农产品电商营销路径。研究结果表明,学习网络营销技术,提高信息技术水平,有利于提高农产品品牌知名度,有利于推动农产品产业化发展,助力乡村振兴。