scrapy发送POST请求
Posted wanglinjie
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy发送POST请求相关的知识,希望对你有一定的参考价值。
发送post请求
可以使用 yield scrapy.FormRequest(url, formdata, callback)
方法发送POST请求。
如果希望程序执行一开始就发送POST请求,可以重写Spider类的start_requests(self)
方法,并且不再调用start_urls里的url。
1 class mySpider(scrapy.Spider): 2 # start_urls = ["http://www.example.com/"] 3 4 def start_requests(self): 5 url = ‘http://www.renren.com/PLogin.do‘ 6 7 # FormRequest 是Scrapy发送POST请求的方法 8 yield scrapy.FormRequest( 9 url = url, 10 formdata = {"email" : "xxx", "password" : "xxx"}, 11 callback = self.parse_page 12 ) 13 def parse_page(self, response): 14 # do something
注意:表单数据的提交使用formdata,方法之间的传参依然使用meta,例如:
class mySpider(scrapy.Spider): # start_urls = ["http://www.example.com/"] def start_requests(self): url = ‘http://www.renren.com/PLogin.do‘ # FormRequest 是Scrapy发送POST请求的方法 yield scrapy.FormRequest( url = url, formdata = {"email" : "xxx", "password" : "xxxxx"}, callback = self.parse_page, meta = {"key1":"value1","key2":"value2"} ) def parse_page(self, response): value1 = response.meta["key1"] # do something
以上是关于scrapy发送POST请求的主要内容,如果未能解决你的问题,请参考以下文章