基于Solr的农田数据索引方法与大数据平台构建

针对农田数据在高吞吐量、高并发、多条件处理过程中易产生运算负载大、响应速度慢等难题,研究了负载均衡大规模集群数据处理技术,优化了多条件检索时Hbase农田数据库,提出了基于Solr的二级非主键索引方法,搭建了基于Hadoop的农田大数据平台,采用农机深松、植保、保护性耕作等8种作业生成的100TB数据对平台进行了检索实验和压力测试实验。实验结果表明,多条件检索时,优化后的技术模型在数据规模达到5×107条时,系统的响应时间小于1s,优化的性能与原生Hbase相比提高了3倍;在模拟用户达到5×105次时,系统的QPS及TPS提高了1倍左右、RT提高了2.5倍,系统的平均响应时间为183ms。本研究解决了高吞吐量、高并发导致农田数据检索效率低的问题,提高了海量农田数据实时处理的计算能力。     

基于Hadoop的蛋鸡设施养殖智能监测管理系统研究

为实现对蛋鸡生产过程中长期积累的海量数据进行高效存储和实时查询,利用Hadoop生态系统,设计了规模化蛋鸡设施养殖智能监测管理系统。针对环境数据的实时监测及大规模数据查询,用My SQL数据库存储近期数据、HBase存储历史数据,有效提升了检索速度;针对海量异构视频数据的统一管理,设计实现了基于MapReduce并行处理框架的分布式转码模块,将1.5 GB的视频分割为多个128 MB分段后进行转码,转码效率提高了50%。该系统实现了规模化蛋鸡场生产养殖中对实时信息、历史信息、基础设施信息、生产过程信息的统一管理,并提供了统计分析模块对采集获取的数据进行整合分析,开发了Web端网页版本及移动端APP版本的智能监测管理系统,便于用户进行实时访问,提高了生产养殖的工作效率。     

基于区块链的农产品供应链溯源数据多条件查询优化方法研究

随着基于区块链的农产品溯源系统迅速发展,区块链查询能力面临着巨大挑战。对于供应链参与方来说,区块链中保存的数据多为编码或序列化的数据,使得供应链参与方的审计和监督等存在多条件查询的工作变得十分困难。通常情况下,原生区块链并未提供满足多条件查询的查询方式。因此,为了实现多条件查询并提高查询效率,本研究提出一种农产品溯源数据多条件查询优化方法。首先,该方法采用一种优化的Merkle树结构（n-Tree）对交易信息进行重构,从而提供更高效的条件验证能力。其次,通过自适应多条件区块布隆过滤器判断交易信息中查询条件的存在性,进而快速过滤区块。最后,提出一种应用TWTN-Heap（Time weight and transaction number based heap）结构的索引构建方法,以区块权重为序构建主条件相关的区块号索引列表。产品数据的查询过程包括遍历区块号索引列表、过滤非相关区块以及验证特定查询条件,从而获得条件查询结果。实验结果表明,本研究提出的产品数据条件查询优化方法能够有效地解决农产品供应链面临的条件查询问题,同时保证查询时间消耗维持在15ms左右,查询效率较默克尔语义字典树(Merkle semantic trie,MST)方法提高60.9%,较原始遍历（Orignal traverse, OT）方法提高87.7%。     

基于CheerIO的MEAN Stack气象数据网络爬虫研究

为全面、即时搜集分散于互联网上游离的气象数据,满足各行业、各领域、各学科科研部门的数据需求,提出使用Google MEAN Stack全栈技术开发基于Cheer IO的高效定向爬虫,充分利用Node.js高性能I/O的特性,实现气象信息的快速搜集。同时将技术栈与地理信息系统技术、数据可视化技术以及云计算技术相结合,通过地理信息系统的数据存储、查询、自动制图、统计分析等功能对信息进行分析和处理,在阿里云平台上构建了一个能抓取并存储海量数据、提供实时气象数据的应用系统,提供便捷的检索、查询功能,有较强的实用性。本文结合气象数据爬虫的解决方案,对MEAN Stack数据爬虫的开发框架、项目架构以及爬虫核心技术(抓取目标策略、网页分析算法、多线程并发运算等)进行了深入分析研究与实现。     

蛋鸡养殖过程中海量数据自动处理系统

采用分时变频的采集模式,应用Java媒体框架模型,设计并实现了蛋鸡养殖过程中海量数据自动处理系统。系统既可同步采集和保存关键的环境、图像及音频信息,又能减少存储空间、降低存储成本和加速查询速度。系统运行结果表明:依据采集设备及采集参数设置的不同,单采集点一天采集的音频及图像数据量为200～400 MB,一年采集的数据量为70～140 GB。系统同时提供了以采集时间戳为索引的多源信息同步查询及同步展示模块,可复原大部分生产过程场景。     

基于多链存储优化的水产品交易匹配模型研究

区块链技术应用到水产品线上交易架构中可以使交易双方隐私信息得到基本保障,然而,目前区块链水产品线上交易模型和系统存在海量数据存储负载大、维护成本高、数据查询效率低等问题。为进一步缓解以上问题,在梳理和分析水产品交易流程基础上,根据水产品交易业务技术需求,提出了基于多链存储优化的水产品交易匹配模型。该模型在智能合约中通过贪心算法实现了效率较高的多属性水产品线上交易匹配过程,通过区块链多通道技术构建了水产品交易多链架构,实现了用户交易信息分布式存储,提高了交易信息查询效率,同时,采用区块链与本地数据库双模式存储技术,缓解了区块链网络中各个节点海量数据存储的负载。基于Hyperledger Fabric平台实现了基于多链存储优化的水产品交易原型系统。该原型系统测试结果表明,临界值900s平均最多可以完成1296笔交易,说明系统在处理千条交易数据量时可以正常运行,满足水产品线上交易平台日常实际交易业务需求,同时在链上存储1600条合同信息时查询1条用户合同信息平均时间为4.018s,多链存储结构提高了链上数据查询速度。     

联合收获机知识库数据多表联合查询方法研究

联合收获机知识库系统使用SQL Server数据库,数据库中的众多数据表具有独立性,便于构建和管理。但当知识库数据量达到一定规模后,对数据表逐一查询不具有可操作性,将全部数据表融合又会导致数据结构混乱、内容表述不清、技术无法实现。针对这一问题,提出联合收获机知识库数据多表联合查询方法。从多角度划分数据表类型,分析联合收获机知识库数据存储结构,设置多表联合数据管理范围;应用SQL(Structured query language)语言将多表信息融合为数据集并存入临时表中,实现多表联合运行;利用人机交互界面将用户查询需求转换成多表联合查询语句,生成查询结果,实现多表近似范围查询和多表精确定位查询。多表联合查询与传统单表知识查询之间的测试结果表明,多表近似范围查询比系统原有的单表近似范围查询节约用户操作时间50%及以上,最高达到90.4%;多表精准定位查询比系统原有的单表精准定位查询节约用户操作时间48.1%及以上,最高达到89.6%。多表联合查询的实现使联合收获机知识库系统具有实用性与可行性,可为同类知识库系统数据管理提供可借鉴的思路和方法。     

基于智能合约的果蔬区块链溯源数据存储方法研究

随着区块链农产品溯源技术的发展,果蔬产品质量安全得到保障。由于我国果蔬产品溯源跨度大、追溯周期长、涉及面广,并且区块链网络数据账本由全网节点共同记账备份,海量溯源数据存储压力大,同时所有数据透明共享,造成供应链溯源数据无法全部上链,引起产品数据上下游溯源企业共享不及时、追溯数据安全性难以得到保障、监管部门无法实时监管全部溯源数据,出现农产品质量安全问题时,责任无法定位、产品难以找到问题源头。基于上述问题,设计基于区块链多链架构的果蔬产品溯源框架,设计溯源数据存储模型,并通过智能合约实现溯源数据分类链上加密存储、链间授权访问、基于授权凭证解密查询,保证果蔬全供应链溯源隐私数据密文上链,减缓区块链存储压力、实现上下游溯源企业隐私数据无孤岛授权共享。基于联盟链Hyperledger Fabric通道技术实现多链溯源系统,经过扩散性测试,由对称加密与椭圆曲线混合加密的“链上加密存证、链间基于授权凭证共享、链上解密查询”智能合约方案,隐私数据密文变化率达95%以上,密钥密文变化率达94%以上,具备较高的安全性和混淆性;经过性能测试,所设计并实现的多链架构溯源系统公开溯源数据查询平均时延为56.9ms,基于授权凭证的隐私溯源数据平均解密查询时延为62.87ms,处理企业节点发起数据上链请求的平均时延为2.16s,能够满足果蔬产品追溯实际的应用需求。     

基于GPU的生态环境遥感评价模型并行化研究

通过基于GPU的生态环境遥感评价模型并行化研究,在深入分析CPU+GPU异构通用计算平台数据传输瓶颈的基础上,设计了数据分片、异步传输的GPU图像处理框架。在此基础上,将碳固定量、草地退化指数和生态环境指数3个计算模型基于CUDA进行并行化实现,并通过实验验证了该技术方法的有效性,随着数据规模的变大,碳固定量计算模型的加速比达到了8.04倍,草地退化指数计算模型的加速比达到了12.21倍,生态环境指数计算模型的加速比达到了7.45倍。     

农业机械作业大数据清洗方法与试验优化

针对农业机械大数据平台中,已有数据清洗算法不适用于大规模、多源异构、高维度和强时空相关实时数据的问题,分析了复杂田间环境下农机作业数据异常来源及特征,研究了异常数据检测及修正技术,提出一种基于滑动窗口机制的农机作业数据在线清洗方法。该方法基于方差约束原则识别异常数据,基于最小变动原则生成候选修正数据,基于数据时间相关性通过AR、ARX模型迭代优化得到最终修复值,依托Flink分布式计算平台,从而适应农机数据吞吐量大、并发度高的特点。基于某省农机作业数据对算法进行了有效性验证,结果表明,在数据规模达到1×105条、数据异常率为5%的情况下,算法异常识别率达到0.94,且与已有清洗算法相比均方根误差更小。基于Box-Behnken方法设计试验,通过响应面分析得到回归模型,分析算法参数对均方根误差和运行时间的影响。基于二进制编码的混合遗传算法对参数进行优化,优化后的参数组合可使算法均方根误差达到0.16、运行时间达到0.13s。该数据清洗方法能够为农机大数据平台的实时处理提供高质量数据支撑。     

关于地理空间数据整合与持续高效更新存在的问题分析

文章针对当前地理空间数据整合与持续高效更新所存在的问题,在地理空间数据更新中引入了“数据同化”这一思想和概念,对持续高效更新存在的问题及“地理空间数据同化”的涵义和关键技术进行了论述.     

基于GEE云平台和数据融合的地表覆盖产品制作方法

地表覆盖产品是地理国情监测、生态系统评估、国土空间规划等活动的重要基础数据。GEE、PIE、微软行星云等遥感计算云平台具备丰富的数据源和强大算力。利用GEE云平台融合多套公开产品制作训练样本,可以显著降低产品更新的成本和周期,具有重要研究价值。本文以淮河流域为例,将欧洲航天局(ESA)和美国环境系统研究所(ESRI)存储在GEE平台上的2020年分辨率10 m地表覆盖产品作为训练样本数据源,选用Sentinel-1雷达和Sentinel-2多光谱影像构建特征空间,利用随机森林分类方法制作分辨率10 m的地表覆盖产品。为验证方法效果,进行了2组对比实验。实验1随机抽取1 116个公开产品类别一致的样点作为训练样本,并通过目视解译方式验证本文产品与多套公开产品的精度。结果显示,本文产品总体精度为80.35%,相较于公开产品的总体精度提升2.89～8.94个百分点,局部刻画也更加精细;在Sentinel-2基础上加入雷达影像,总体精度提高3.52个百分点,雷达影像辅助效果明显。实验2设置8组不同数量的训练样本,并分别以人工判读、ESA、ESRI、DW、GlobeLand30为参考数据源,研究...     

水产养殖大数据技术研究进展与发展趋势分析

水产养殖对象特殊、环境复杂、影响因素众多,精准地监测、检测和优化控制极其困难。大数据技术结合数学模型,把水产养殖产生的大量数据加以处理和分析,并将有用的结果以直观的形式呈现给生产者与决策者,是解决上述难题的根本途径。本文主要对水产养殖大数据技术研究进展与发展趋势进行了深入剖析,提出了水产养殖业大数据技术的总体架构;分析了水产养殖大数据的来源和获取手段,重点总结了几种水产养殖大数据分析技术的研究进展和现有水产养殖大数据平台及其提供的应用服务;最后针对水产养殖与大数据技术结合过程所面临的困难与挑战,从实现全面感知、全产业链数据智能分析与自动决策、水产养殖大数据标准体系建设等方面提出水产养殖大数据技术的发展方向。数据是根本,分析是核心,利用大数据技术提高水产养殖综合生产力和效益是最终目的,应深度挖掘现实需求,整合水产养殖全产业链数据,加强基础理论和核心关键技术研究,从而推进大数据技术与水产养殖产业的深度融合,支撑我国水产养殖业彻底转型升级。     

中国饲料营养大数据分析平台研制

饲料粮缺口的逐渐加大,导致中国饲料粮安全问题逐步转化为粮食安全问题。因此,全面整合饲料营养基础数据资源,提高一切可利用饲料资源的营养价值,成为中国今后长期保障国家粮食安全的技术措施之一。本研究依据16类中国饲料原料描述规范和属性数据标准,全面用数字化模式收集整理了自“六五”至“十三五”期间累积的50万条以上已有饲料资源的种类、空间分布、饲料成分含量及营养价值特性数据,利用MySQL网络数据库及PHP程序语言,开发了新一代饲料营养大数据分析平台（http：//www.chinafeeddata.org.cn/）并提供Web数据共享功能。首先,平台提供所有入库数据的可视化分析,可实现单个或多个饲料多种养分和多种图形模式的直观比对。通过二维码技术提供所有饲料营养属性数据及饲料实体样本溯源数据的移动端实时分享与下载服务。其次,平台构建了通过已知饲料概略养分在线预测其他有效养分的回归模型,为饲料原料养分变异提供动态分析。最后,平台基于地理信息系统技术,将饲料概略养分和主要矿物元素含量数据与其所处的地理位置分布相结合,实现了饲料营养数据地理信息图谱的分布查询及对比分析,同时提供各种数据的下载方式,为已有饲料数据的全面应用带来便利。研究表明,拓展饲料资源数据并提供饲料养分的预测分析模型,可最大化利用已有饲料养分数据的价值,进一步嵌入各类饲料配方的网络计算模块,可以达到饲料营养数据的一站式服务及数据的最大化升值服务。     

本体在村级数据资源共享中的应用研究

针对多源、异构农业农村数据资源难以有效地相互理解和共享利用的问题，本文提出了一种基于本体论的数据组织方法，从村级数据资源组织和共享的角度出发，探讨如何构建所需的本体的方法路径，基于案例试验阐述了如何将本体应用于村级数据资源的组织、共享，以及将基于规则的本体推理应用于村级数据资源开发利用，最后提出了本体在农业农村数据资源管理、共享、挖掘中的应用场景展望。     

基于SVC和过采样的类别非均衡农业高光谱数据分类

系统研究了农业高光谱数据中少数类的分类质量问题。为了提升少数类的分类质量,提出采用过采样SMOTE技术增加少数类新样本,同时研究了SMOTE技术中新样本生成策略和少数类采样倍率对高光谱数据中少数类分类结果的影响,以及不平衡数据集上分类器与模型的匹配度。在新的采样数据集上采用多类分类SVC技术对少数类分类,提升了非均衡高光谱数据集中少数类的分类质量。在真实数据集上进行了试验验证,并对不同的分类方法和系统参数进行了试验对比和分析,结果表明,本文方法能够显著地提高非均衡高光谱数据中少数类分类效果,平均分类精度不小于0. 82,平均召回率提升幅度为11. 11%～26. 15%,F1提升幅度为5. 81%～40. 85%。     

基于关联数据的农业信息空间数据组织研究

介绍了农业信息空间、关联数据和RDF格式的内涵与应用研究现状,以及农业信息空间下基于关联数据的知识资源组织方式和机制原理,提出了基于关联数据的知识资源发布应用模式和资源服务方式,有利于更好地扩展知识资源的内容,提升知识资源的发现服务,为我国关联数据的理论研究和应用实践提供一定的参考。     

农机数据采集传输系统的设计与实现——基于CAN总线

随着CAN总线的发展应用,越来越多的农业机械开始装备使用CAN总线,采集农机CAN数据对于农机作业运行及故障维修的应用研究具有重要意义。农机CAN总线数据采集传输系统,能够实时采集、解析、传输农机CAN总线数据信息,且可将数据传输到PC机进行数据处理和数据分析。为此,详细介绍了基于单片机、CAN控制器及CAN收发器的农机CAN总线数据采集传输系统,并给出了硬件设计和软件实现。试验表明:该系统将发动机转速、油耗、经纬度、高程等数据解析并传输存储,在实际应用过程中,系统可靠性好,信息准确、运行正常。     

拖拉机经济寿命计算数据的获取及处理-以东方红1002型为例

作为农业生产主要动力的拖拉机,其更新关键依据就是经济寿命。一个再好的拖拉机经济寿命计算模型,如果没有真实、可靠的数据,也是枉然。因此,有必要对拖拉机经济寿命计算数据的获取及处理进行探讨,并以数理统计的观点介绍了拖拉机主要技术经济指标的获取及处理方法,建立了数据获取及数据处理模型,为拖拉机经济寿命计算和效益分析奠定基础。