| 基于林产品贸易Web信息增量爬虫的研究 |
| |
| 引用本文： | 许美,田世全,陈钊. 基于林产品贸易Web信息增量爬虫的研究[J]. 农业网络信息, 2016, 0(2): 18-21. DOI: 10.3969/j.issn.1672-6251.2016.02.004 |
| |
| 作者姓名： | 许美 田世全 陈钊 |
| |
| 作者单位： | 北京林业大学,北京,100083 |
| |
| 摘 要： | 随着互联网信息的快速增长和大数据掀起的热潮,如何保证主题数量的增量爬取再次成为获取信息的必要手段,增量爬虫能够以较少的资源实现信息的快速更新,从而提高信息检索的准确率。文章结合林产品贸易Web信息的特点,提出了一种适用于林产品贸易Web信息的基于优先级增量爬取方法,网页更新的优先级伴随着抓取而动态改变。最后通过实验证明随着抓取信息的增加该方法在保证网页质量的同时能有效的降低系统的资源使用,在海量信息爬取的过程中具有很好的应用价值。
|
| 关 键 词： | 增量爬虫 林产品 动态模型 |
Research on Incremental Crawler Based on the Web Information of Forest Products Trade |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
