python 爬虫开发基础知识

Posted 2021-01-16

1. Request
   请求方式 常用的有get post
   请求的url
   第一部分是协议(或称为服务方式)
   第二部分是存有该资源的主机IP地址(有时也包括端口号)
   第三部分是主机资源的具体地址，如目录和文件名等
   请求头 包含请求时的头部信息，如User-Agent,Host,Cookies等信息
   请求体 请求时携带的数据，如提交表单数据时候的表单数据
2. Response
   所有HTTP响应的第一行都是状态行，依次是当前HTTP版本号，3位数字组成的状态代码，以及描述状态的短语，彼此由空格分隔
   相应状态 有多种响应状态，如：200代表成功，301跳转，404找不到页面，502服务器错误
   响应头 如内容类型，类型的长度，服务器信息，设置Cookie
   响应体 最主要的部分，包含请求资源的内容，如网页HTMl,图片，二进制数据等
   3.URL解析
   urlparse
   from urllib.parse import urlparse
   result = urlparse("http://www.baidu.com/index.html;user?id=5#comment")
   urlencode 这个方法可以将字典转换为url参数
   urlencode(params) params 是字典格式
   4.Requests是用python语言基于urllib编写的
   response.text会出现乱码的问题，所以这个使用response.content
   这样返回的数据格式其实是二进制格式，然后通过decode()转换为utf-8，这样就解决了通过response.text直接返回显示乱码的问题.
   Requests模块允许使用params关键字传递参数，以一个字典来传递这些参数
   response = requests.get("http://httpbin.org/get",params=data)
   response = requests.post("http://httpbin.org/post",data=data)
   文件上传
   files= {"files":open("git.jpeg","rb")}
   response = requests.post("http://httpbin.org/post",files=files)
   获取cookie response.cookies
   证书验证
   from requests.packages import urllib3
   urllib3.disable_warnings()
   response = requests.get("https://www.12306.cn",verify=False)
   代理设置
   requests.get("https://www.baidu.com",proxies=proxies)
   认证设置
   response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123"))
   异常
   所有的异常方法都在requests.exceptions，使用时根据需要进行引入即可