python scrapy cookies 处理

Posted 电子灵魂

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python scrapy cookies 处理相关的知识,希望对你有一定的参考价值。

  1 def start_requests(self):
  2 	cookies = ‘anonymid=jcokuqwe................省略‘
  3 	# 首先是对cookies进行分割以;为节点
  4 	ookies = {i.split("=")[0]:i.split("=")[1] for i in cookies.split(";")}
  5 	yield scrapy.Request(
  6 		self.start_urls[0],
  7 		callback=self.parse,
  8 		cookies=cookies
  9 	)
 10 

以上是关于python scrapy cookies 处理的主要内容,如果未能解决你的问题,请参考以下文章

python - scrapy 爬虫框架(创建, 持久化, 去重, 深度, cookie)

[Project] Simulate HTTP Post Request to obtain data from Web Page by using Python Scrapy Framework(代

Scrapy框架--cookie的获取/传递/本地保存

scrapy 设置cookie池

Python学习---爬虫学习[scrapy框架初识]

python3下scrapy爬虫(第五卷:利用cookie模拟登陆抓取个人中心页面)