Python爬虫编程思想(87):项目实战--抓取豆瓣电影排行榜

Posted 蒙娜丽宁

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫编程思想(87):项目实战--抓取豆瓣电影排行榜相关的知识,希望对你有一定的参考价值。

        本文的例子使用requests下载豆瓣电影Top250排行榜页面的代码,然后使用lxml、XPath和正则表达式对html代码进行解析,最后将抓取到的信息保存到SQLite数据库中。

豆瓣电影Top250排行榜页面的URL如下。

https://movie.douban.com/top250

页面效果如图1所示。

 

豆瓣电影Top250排行榜页面URL的规律与音乐排行榜相同,如第2页、第3页的URL如下:

以上是关于Python爬虫编程思想(87):项目实战--抓取豆瓣电影排行榜的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫编程思想(92):项目实战:抓取京东图书评价

Python爬虫编程思想(92):项目实战:抓取京东图书评价

Python爬虫编程思想(126):项目实战--实时抓取“得到”App在线课程

Python爬虫编程思想(126):项目实战--实时抓取“得到”App在线课程

Python爬虫编程思想(61): 项目实战:抓取租房信息

Python爬虫编程思想(69): 项目实战--抓取当当图书排行榜