| 一种基于Hadoop架构的网络舆情热点话题挖掘方法 |
| |
| 引用本文： | 周建华.一种基于Hadoop架构的网络舆情热点话题挖掘方法[J].河北北方学院学报(自然科学版),2014(6):19-24. |
| |
| 作者姓名： | 周建华 |
| |
| 作者单位： | 湖南警察学院;湖南大学信息科学与工程学院 |
| |
| 基金项目： | 湖南省科技计划项目(2013GK3088);公安部科技创新项目(2013YYCXHNST035);湖南省教改项目(2014);湖南省哲学社会科学基金项目(11YBA123);湖南警察学院科研课题(2011YB01);湖南省教育厅科研项目(13C281) |
| |
| 摘 要： | 为解决在海量数据中实时、精准挖掘网络舆情热点话题的问题,提出一种基于Hadoop的网络舆情数据分析模型。对于话题发现核心模块,给出一种WCGFMR网络舆情热点话题挖掘算法,采用Map(映射)和Reduce(规约)规则进行舆情文本特征分组加权策略。实验结果表明,采用基于Hadoop架构的WCGFMR算法进行热点话题挖掘,热点话题的平均召回率达到85.32%,平均话题类纯度达到95.36%。随舆情数据集增大到2GB后,在Map数一定的条件下,多任务数Reduce执行时间相比少任务数Reduce大大缩短,数据中热点话题挖掘速度显著提高。
|
| 关 键 词： | 网络舆情 Hadoop 热点话题 模糊聚类 映射规约 |
| 本文献已被 CNKI 等数据库收录！ |
|
