爬虫学习——URL管理器和实现方法
Posted ryuuku
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了爬虫学习——URL管理器和实现方法相关的知识，希望对你有一定的参考价值。
url管理器一共有三种实现方法，作为个人，我们应当选择哪种实现方法呢？答案就在下面
爬虫的简单架构
一、URL管理器
实现方式：有三种
1.内存中
python中set()可以直接去除重复的元素
2.关系数据库中
比如：mysql中的urls（url,is_crawled）
建立一个urls表包含两个字段url(待爬取)和is_crawled（已爬取）。
3.缓存数据库
比如：redis
本身就包含set关系型数据结构
缓存数据库具有高性能：大公司首选
个人和小公司可用python内存作为存储，
存储不足，想要永久存储可选用关系型数据库
以上是关于爬虫学习——URL管理器和实现方法的主要内容，如果未能解决你的问题，请参考以下文章