Python爬虫编程思想(154):使用Scrapy处理登录页面

Posted 蒙娜丽宁

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫编程思想(154):使用Scrapy处理登录页面相关的知识,希望对你有一定的参考价值。

       在抓取Web页面数据时,并不是每一个页面的数据在任何时候都可以抓取到。有一些页面,需要用户登录后才可以在浏览器中显示,如果想通过爬虫抓取这样的页面,同样也需要登录。也就是说,这种页面只有特定的用户才能访问。

对于需要登录才能访问的页面有多种情况,其中比较容易抓取的是不管以任何用户登录,页面都相同,或者只想抓取特定用户登录后的页面,在这种情况下,可以事先在网站上注册一个用户,然后在抓取Web页面之前,先用程序模拟登录,登录成功后,就可以继续利用爬虫下载该Web页面了。

本例通过Flask框架[1]实现了一个简单的Web服务器,用于模拟需要登录才能访问的Web页面,然后使用Scrapy模拟登录,最后再使用Scrapy抓取登陆后页面的内容。

现在先来建立相关的Web页面。

登录页面(login.html

以上是关于Python爬虫编程思想(154):使用Scrapy处理登录页面的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫编程思想(154):使用Scrapy处理登录页面

Python爬虫编程思想(148):在PyCharm中使用扩展工具运行Scrapy程序

Python爬虫编程思想(148):在PyCharm中使用扩展工具运行Scrapy程序

Python爬虫编程思想(148):在PyCharm中使用扩展工具运行Scrapy程序

Python3分布式爬虫(scrap+redis)基础知识和实战详解

Python爬虫编程思想(12):搭建代理与使用代理