在Scrapy里设置Cookies 要注意一点!

Posted longsongpong

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在Scrapy里设置Cookies 要注意一点!相关的知识,希望对你有一定的参考价值。

1.requests里设置cookies,可以将cookies放入headers里一同提交。

 

{Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,
 Accept-Encoding: gzip, deflate,
 Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,
 Cache-Control: max-age=0,
 Connection: keep-alive,
 Cookie: __cfduid=d50cf692a2f654986d51b98e6c1bad6c41535939301; session=.eJwlzj0OwjAMQOG7eO6Q2Emc9DKV6x-oEB1amBB3pxLS27_3gSUOP-8wv463T7BsBjMEiaIRMZe-MgfXKozmShqWXZVMOqdW-jDElkbm2r2IKqt0WYkwczKLNjyKmqUW2Nekgv3KMg2mWp1TRcm54ShNROvl5FARmOB9-vGfeWz7bZenw_cHGzsyUA.Dw5FeA.xD0ofpGXJUvDLYeCrMn08E24HKM,
 DNT: 1,
 Host: exercise.kingname.info,
 Upgrade-Insecure-Requests: 1,
 User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36}

 

 

 

2.但是,如果使用Scrapy的时候需要Cookies,就不能把Cookies放在Headers里面。在Scrapy发起请求的时候,有一个单独的参数来设置Cookies:

yield scrapy.Request(url,
                     callback=self.xxx,
                     headers=headers,
                     cookies={__cfduid: d50cf692a2f654986d51b98e6c1bad6c41535939301,
                              session: .eJwlzj0OwjAMQOG7eO6Q2Emc9DKV6x-oEB1amBB3pxLS27_3gSUOP-8wv463T7BsBjMEiaIRMZe-MgfXKozmShqWXZVMOqdW-jDElkbm2r2IKqt0WYkwczKLNjyKmqUW2Nekgv3KMg2mWp1TRcm54ShNROvl5FARmOB9-vGfeWz7bZenw_cHGzsyUA.Dw5FeA.xD0ofpGXJUvDLYeCrMn08E24HKM})

 

以上是关于在Scrapy里设置Cookies 要注意一点!的主要内容,如果未能解决你的问题,请参考以下文章

scrapy基础知识之 scrapy 三种模拟登录策略:

golang cookiejar 怎么自己添加cookies

第三百三十三节,web爬虫讲解2—Scrapy框架爬虫—Scrapy模拟浏览器登录—获取Scrapy框架Cookies

scrapy中的cookies参数详解

scrapy基础知识之防止爬虫被反的几个策略::

python scrapy cookies 处理