Python爬虫编程思想(87):项目实战--抓取豆瓣电影排行榜
Posted 蒙娜丽宁
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫编程思想(87):项目实战--抓取豆瓣电影排行榜相关的知识,希望对你有一定的参考价值。
本文的例子使用requests下载豆瓣电影Top250排行榜页面的代码,然后使用lxml、XPath和正则表达式对html代码进行解析,最后将抓取到的信息保存到SQLite数据库中。
豆瓣电影Top250排行榜页面的URL如下。
https://movie.douban.com/top250
页面效果如图1所示。
豆瓣电影Top250排行榜页面URL的规律与音乐排行榜相同,如第2页、第3页的URL如下:
以上是关于Python爬虫编程思想(87):项目实战--抓取豆瓣电影排行榜的主要内容,如果未能解决你的问题,请参考以下文章
Python爬虫编程思想(92):项目实战:抓取京东图书评价
Python爬虫编程思想(92):项目实战:抓取京东图书评价
Python爬虫编程思想(126):项目实战--实时抓取“得到”App在线课程