python开发轻量级爬虫
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python开发轻量级爬虫相关的知识,希望对你有一定的参考价值。
课程目标:
python开发轻量级爬虫
课程内容:
爬虫简介
- 爬虫:一段自动抓取互联网信息的程序
简单爬虫架构
- 爬虫调度器
- URL管理器、
- 网页下载器(urllib2)、
- 网页解析器(BeautifulSoup4)
- 网页生成器
完整实例
- 爬取百度百科1000个页面的数据
以上是关于python开发轻量级爬虫的主要内容,如果未能解决你的问题,请参考以下文章