简单爬虫学习记录
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了简单爬虫学习记录相关的知识，希望对你有一定的参考价值。
- 实现思路解析：
爬虫调度器：启动/停止爬虫，规定爬虫的范围；
URL管理器：管理2个URL：新的没有爬过的urls；旧的爬过的urls；
URL下载器：下载url对应的html数据；
HTML解析器：解析并过滤下载到的html数据；
数据输出器：把解析过滤后的数据，按一定的格式存储到对应的文件中。
以上是关于简单爬虫学习记录的主要内容，如果未能解决你的问题，请参考以下文章