1.更多信息http://www.python-requests.org
2.安装:Win平台: “以管理员身份运行”cmd,执行 pip install requests
3.requests库的七个主要方法:
requests.request() 构造一个请求,支撑以下各方法的基础方法
requests.get() 获取HTML网页的主要方法,对应于HTTP的GET
requests.head() 获取HTML网页头信息的方法,对应于HTTP的HEAD
requests.post() 向HTML网页提交POST请求的方法,对应于HTTP的POST
requests.put() 向HTML网页提交PUT请求的方法,对应于HTTP的PUT
requests.patch() 向HTML网页提交局部修改请求,对应于HTTP的PATCH
requests.delete() 向HTML页面提交删除请求,对应于HTTP的DELETE
4.get()方法
(1)r = requests.get(url)
get(url)构造一个向服务器请求资源的Request对象
r返回一个包含服务器资源的Response对象
(2)requests.get(url, params=None, **kwargs)
? url : 拟获取页面的url链接
? params : url中的额外参数,字典或字节流格式,可选
? **kwargs: 12个控制访问的参数
(3)Response 对象的属性:
r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败
r.text HTTP响应内容的字符串形式,即,url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式)
r.content HTTP响应内容的二进制形式
r.encoding:如果header中不存在charset,则认为编码为ISO‐8859‐1
r.text根据r.encoding显示网页内容
r.apparent_encoding:根据网页内容分析出的编码方式可以看作是r.encoding的备选
5.爬取网页的通用代码框架
(1)requests异常
requests.ConnectionError 网络连接错误异常,如DNS查询失败、拒绝连接等
requests.HTTPError HTTP错误异常
requests.URLRequired URL缺失异常
requests.TooManyRedirects 超过最大重定向次数,产生重定向异常
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timeout 请求URL超时,产生超时异常
(2)Response异常
r.raise_for_status() 如果不是200,产生异常 requests.HTTPError
(3)通用代码框架
import requests
def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return "产生异常"
if _name_="_main_":
url="http://www.baidu.com"
print(getHTMLText(url))
6.HTTP协议
(1)URL格式如下:http://host[:port][path]
host: 合法的Internet主机域名或IP地址
port: 端口号,缺省端口为80
path: 请求资源的路径
(2)http协议对资源的操作
GET 请求获取URL位置的资源
HEAD 请求获取URL位置资源的响应消息报告,即获得该资源的头部信息
POST 请求向URL位置的资源后附加新的数据
PUT 请求向URL位置存储一个资源,覆盖原URL位置的资源
PATCH 请求局部更新URL位置的资源,即改变该处资源的部分内容
DELETE 请求删除URL位置存储的资源
向URL POST一个字典自动编码为form(表单)
向URL POST一个字符串自动编码为data
7.requests库的主要方法
(1)requests.request(method, url, **kwargs)
? method : 请求方式,对应get/put/post等7种
? url : 拟获取页面的url链接
? **kwargs: 控制访问的参数,共13个
? method : 请求方式
r = requests.request(‘GET‘, url, **kwargs)
r = requests.request(‘HEAD‘, url, **kwargs)
r = requests.request(‘POST‘, url, **kwargs)
r = requests.request(‘PUT‘, url, **kwargs)
r = requests.request(‘PATCH‘, url, **kwargs)
r = requests.request(‘delete‘, url, **kwargs)
r = requests.request(‘OPTIONS‘, url, **kwargs)
**kwargs: 控制访问的参数,均为可选项
params : 字典或字节序列,作为参数增加到url中:
data : 字典、字节序列或文件对象,作为Request的内容
json : JSON格式的数据,作为Request的内容
headers : 字典,HTTP定制头
cookies : 字典或CookieJar,Request中的cookie
auth : 元组,支持HTTP认证功能
files : 字典类型,传输文件
timeout : 设定超时时间,秒为单位
proxies : 字典类型,设定访问代理服务器,可以增加登录认证
allow_redirects : True/False,默认为True,重定向开关
stream : True/False,默认为True,获取内容立即下载开关
verify : True/False,默认为True,认证SSL证书开关
cert : 本地SSL证书路径
(2)requests.get(url, params=None, **kwargs)
? url : 拟获取页面的url链接
? params : url中的额外参数,字典或字节流格式,可选
? **kwargs: 12个控制访问的参数
(3)requests.head(url, **kwargs)
? url : 拟获取页面的url链接
? **kwargs: 12个控制访问的参数
(4)requests.post(url, data=None, json=None, **kwargs)
? url : 拟更新页面的url链接
? data : 字典、字节序列或文件,Request的内容
? json : JSON格式的数据,Request的内容
? **kwargs: 12个控制访问的参数
(5)requests.put(url, data=None, **kwargs)
? url : 拟更新页面的url链接
? data : 字典、字节序列或文件,Request的内容
? **kwargs: 12个控制访问的参数
(6)requests.patch(url, data=None, **kwargs)
? url : 拟更新页面的url链接
? data : 字典、字节序列或文件,Request的内容
? **kwargs: 12个控制访问的参数
(7)requests.delete(url, **kwargs)
? url : 拟删除页面的url链接
? **kwargs: 12个控制访问的参数