| 农业机械作业大数据清洗方法与试验优化 |
| |
| 引用本文： | 苑严伟,徐玲,冀福华,郭大方,安飒,牛康.农业机械作业大数据清洗方法与试验优化[J].农业机械学报,2021,52(6):35-42. |
| |
| 作者姓名： | 苑严伟 徐玲 冀福华 郭大方 安飒 牛康 |
| |
| 作者单位： | 中国农业机械化科学研究院土壤植物机器系统技术国家重点实验室,北京100083 |
| |
| 基金项目： | 国家重点研发计划项目(2017YFD0700205) |
| |
| 摘 要： | 针对农业机械大数据平台中，已有数据清洗算法不适用于大规模、多源异构、高维度和强时空相关实时数据的问题，分析了复杂田间环境下农机作业数据异常来源及特征，研究了异常数据检测及修正技术，提出一种基于滑动窗口机制的农机作业数据在线清洗方法。该方法基于方差约束原则识别异常数据，基于最小变动原则生成候选修正数据，基于数据时间相关性通过AR、ARX模型迭代优化得到最终修复值，依托Flink分布式计算平台，从而适应农机数据吞吐量大、并发度高的特点。基于某省农机作业数据对算法进行了有效性验证，结果表明，在数据规模达到1×105条、数据异常率为5%的情况下，算法异常识别率达到0.94，且与已有清洗算法相比均方根误差更小。基于Box-Behnken方法设计试验，通过响应面分析得到回归模型，分析算法参数对均方根误差和运行时间的影响。基于二进制编码的混合遗传算法对参数进行优化，优化后的参数组合可使算法均方根误差达到0.16、运行时间达到0.13s。该数据清洗方法能够为农机大数据平台的实时处理提供高质量数据支撑。
|
| 关 键 词： | 农业机械 大数据 数据清洗 |
| 收稿时间： | 2020/9/27 0:00:00 |
Experimental Optimization of Big Data Cleaning Method for Agricultural Machinery |
| |
| YUAN Yanwei,XU Ling,JI Fuhu,GUO Dafang,AN S,NIU Kang.Experimental Optimization of Big Data Cleaning Method for Agricultural Machinery[J].Transactions of the Chinese Society of Agricultural Machinery,2021,52(6):35-42. |
| |
| Authors: | YUAN Yanwei XU Ling JI Fuhu GUO Dafang AN S NIU Kang |
| |
| Institution: | The State Key Laboratory of Soil-Plant-Machine System Technology, Chinese Academy of Agricultural Mechanization Sciences |
| |
| Abstract: | |
| |
| Keywords: | agricultural machinery big data data cleaning |
| 本文献已被 万方数据 等数据库收录！ |
| 点击此处可从《农业机械学报》浏览原始摘要信息 |
| 点击此处可从《农业机械学报》下载免费的PDF全文 |
