python开发轻量级爬虫

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python开发轻量级爬虫相关的知识,希望对你有一定的参考价值。

课程目标:

python开发轻量级爬虫

课程内容:

爬虫简介

  • 爬虫:一段自动抓取互联网信息的程序

简单爬虫架构

  • 爬虫调度器
  • URL管理器、
  • 网页下载器(urllib2)、
  • 网页解析器(BeautifulSoup4)
  • 网页生成器

完整实例

  • 爬取百度百科1000个页面的数据
技术分享
 


















以上是关于python开发轻量级爬虫的主要内容,如果未能解决你的问题,请参考以下文章

Python 开发轻量级爬虫03

Python开发轻量级爬虫

Python 开发轻量级爬虫08

Python 开发轻量级爬虫02

Python 开发轻量级爬虫05

Python 开发轻量级爬虫07