Python爬虫编程思想（18）：使用urllib3处理HTTP请求头和HTTP响应头
Posted 蒙娜丽宁
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python爬虫编程思想（18）：使用urllib3处理HTTP请求头和HTTP响应头相关的知识，希望对你有一定的参考价值。
目录
1. HTTP请求头
大多数服务端应用都会检测某些HTTP请求头，例如，为了阻止网络爬虫或其他的目的，通常会检测HTTP请求头的User-Agent字段，该字段指定了用户代理，也就是用什么应用访问的服务端程序，如果是浏览器，如Chrome，会包含Mozilla/5.0或其他类似的内容，如果HTTP请求头不包含这个字段，或该字段的值不符合要求，那么服务端程序就会拒绝访问。还有一些服务端应用要求只有处于登录状态才可以访问某些数据，所以需要检测HTTP请求头的cookie字段，该字段会包含标识用户登录的信息。当然，服务端应用也可能会检测HTTP请求头的其他字段，
以上是关于Python爬虫编程思想（18）：使用urllib3处理HTTP请求头和HTTP响应头的主要内容，如果未能解决你的问题，请参考以下文章
Python爬虫编程思想（17）：使用urllib3发送HTTP Get和HTTP POST请求
Python爬虫编程思想（19）：使用urllib3上传文件与处理超时
Python爬虫编程思想（10）：通过urllib设置HTTP请求头