爬虫去重策略
Posted zhoulixiansen
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了爬虫去重策略相关的知识，希望对你有一定的参考价值。
1，将所有访问过的url保存在数据库中
2，将访问过的url保存在内存中，只需要o(1)代价就可以查询url
1000000000*2byte*50个字符/1024/1024/1024≈9G
3，url经过md5等方法哈希后保存到内存中 （scrapy用的方法）
4，用bitmap方法，将访问过的url通过hash函数映射到某一位
5，bloomfilter方法对bitmap进行改进，多重hash函数降低冲突
以上是关于爬虫去重策略的主要内容，如果未能解决你的问题，请参考以下文章