python爬取猫眼电影top100
Posted 噼里巴啦
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python爬取猫眼电影top100相关的知识，希望对你有一定的参考价值。
最近想研究下python爬虫，于是就找了些练习项目试试手，熟悉一下，猫眼电影可能就是那种最简单的了。
1 看下猫眼电影的top100页面
分了10页，url为：https://maoyan.com/board/4?offset=0
我们发起请求，得到相应：
我们
我使用的是requests库，这是一个第三方的库。
2 利用正则解析爬取下的页面
当然你也可以使用xpath和bs4。
我们先看一下网页的源代码：
然后根据代码写出要匹配的正则，然后对匹配出来的数据做解析:
3 将抓到的数据写入本地文件
4 最后得到的页面
5 一点小扩充
虽然实现了爬取的功能，但是其实这个程序还可以扩充
普通版：利用for循环实现爬取
多进程版：利用进程池创建多进程
第一种方式：
第二种方式:
以上是关于python爬取猫眼电影top100的主要内容，如果未能解决你的问题，请参考以下文章