Scrapy模拟登陆

Posted 2021-03-15 yzg-14

1. 为什么需要模拟登陆？

#获取cookie，能够爬取登陆后的页面

2. 回顾： requests是如何模拟登陆的？

#1、直接携带cookies请求页面

#2、找接口发送post请求存储cookie

3. selenium是如何模拟登陆的？ 

#找到对应的input标签，输入文字点击登录

4. 那么对于scrapy来说，也是有两个方法模拟登陆
 
# 1、直接携带cookie 

# 2、找到发送post请求的url地址，带上信息，发送请求

1. scrapy模拟登陆之携带cookie

应用场景：
	1、cookie过期时间很长，常见于一些不规范的网站
	2、能在cookie过期之前把搜有的数据拿到
	3、配合其他程序使用，比如其使用selenium把登陆之后的cookie获取到保存到本地，scrapy发送请求之前先读取本地cookie

 

 

 

 2. scrapy模拟登陆之cookie传递

 

 3. scrapy模拟登陆之发送post请求

 

 4. scrapy模拟登陆之自动登录