scrapy--模拟登陆

Posted hhy-love-python

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy--模拟登陆相关的知识,希望对你有一定的参考价值。

使?FormRequest.from_response()?法模拟?户登录

通常?站通过 实现对某些表单字段(如数据或是登录界?中的认证令
牌等)的预填充。
使?Scrapy 抓取??时,如果想要预填充或重写像?户名、?户密码这 些
表单字段, 可以使? FormRequest.from_response() ?法实现。
下?是使?这种?法的爬?例?:

import scrapy
class LoginSpider(scrapy.Spider):
name = example.com
start_urls = [http://www.example.com/users/login.php]
def parse(self, response):
return
scrapy.FormRequest.from_response( response
,
formdata={username: john, password: secret},
callback=self.after_login
)
def after_login(self, response):
# check login succeed before going on
if "authentication failed" in response.body:
self.log("Login failed", level=log.ERROR)
return
# continue scraping with authenticated s

 

以上是关于scrapy--模拟登陆的主要内容,如果未能解决你的问题,请参考以下文章

Scrapy基础(十四)————Scrapy实现知乎模拟登陆

Scrapy模拟登陆

Scrapy 模拟登陆知乎--抓取热点话题

Scrapy 爬虫模拟登陆的3种策略

知乎改版api接口之scrapy自动登陆

scrapy--模拟登陆