6-16

Posted 2020-11-18 coder-2017

• User-Agent 出现在请求报头中，表示客户端的操作系统、浏览器型号版本等信息。服务器可以根据此报头向客户端返回不同的页面以适应客户端。有些网站(知乎)会校验此报头，不填写或者不主流的报头都不能拿到正常的页面。因此自己在写爬虫的时候最好将从浏览器中拷贝到代码中。
• Cookie 出现在请求抱头中，前面我们说过HTTP是基于请求与响应模式并且无状态的协议，之前举了打菜阿姨的例子，Cookie就相当于每次请求中的学生证，它可以记录用户的身份信息。当我们自己写爬虫的时候，如果需要登陆，并且登陆又有验证码或者短信验证时，最简单的方法就是从浏览器中把cookie拷贝到爬虫中，就可以骗过服务器了。
• Set-Cookie 出现在响应抱头中，让客户端更新页面关联的Cookie，还是拿食堂阿姨的例子，如果你的响应报头有这个字段，意思就是阿姨重新给你了一个学生证，下次打饭你得用最新的学生证，原来的学生证不好使。如果你在模拟浏览器或者客户端登陆，需要将此报头更新已有的Cookie，不过Scrapy和requests都可以自动更新，因此不需要你再手动设置。