Python urllib详解
Posted meipu
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python urllib详解相关的知识,希望对你有一定的参考价值。
-
Urllib
官方文档地址:https://docs.python.org/3/library/urllib.html
其主要包括一下模块:
urllib.request 请求模块
urllib.error 异常处理模块
urllib.parse url解析模块
urllib.robotparser robots.txt解析模块
urllib.request.urlopen
urlopen参数如下:
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None
常用参数:
url:访问的地址,一般不只是地址。
data:此参数为可选字段,特别要注意的是,如果选择,请求变为post传递方式,其中传递的参数需要转为bytes,如果是我们只需要通过 urllib.parse.urlencode 转换即可:
import urllib.parse
import urllib.request
data = bytes(urllib.parse.urlencode("word": "python"), encoding= ‘utf8‘)
response = urllib.request.urlopen("http://xxxxx", data=data)
print(response.read().decode(‘utf-8‘))
timeout:设置网站的访问超时时间
其他参数:
context 参数:它必须是 ssl.SSLContext 类型,用来指定 SSL 设置。
cafile 和 capath 两个参数:是指定CA证书和它的路径,这个在请求 HTTPS 链接时会有用。
cadefault 参数:现在已经弃用了,默认为 False
urlopen返回对象提供方法:
read() , readline() ,readlines() , fileno() , close() :对HTTPResponse类型数据进行操作。
info():返回HTTPMessage对象,表示远程服务器返回的头信息。
getcode():返回Http状态码。
geturl():返回请求的url。
1 import urllib.request 2 response = urllib.request.urlopen(‘http://python.org/‘) 3 4 #查看 response 的返回类型 5 print(type(response)) 6 7 #查看反应地址信息 8 print(response) 9 10 #查看头部信息_1 11 print(response.info()) 12 13 #查看头部信息_2(http header) 14 print(response.getheaders()) 15 16 #输出头部属性信息 17 print(response.getheader("Server")) 18 19 #查看响应状态信息_1 20 print(response.status) 21 22 #查看响应状态信息_2 23 print(response.getcode()) 24 25 #查看响应url地址 26 print(response.geturl()) 27 28 #输出网页源码 29 page = response.read() 30 print(page.decode(‘utf-8‘))
urllib.request.Request
1 import urllib.request 2 headers = ‘Host‘: ‘www.xicidaili.com‘, 3 ‘User-Agent‘: ‘Mozilla/4.0 (compatible; MSIE 7.0; Windows NT6.0)‘, 4 ‘Accept‘: r‘application/json, text/javascript, */*; q=0.01‘, 5 ‘Referer‘: r‘http://www.xicidaili.com/‘, 6 7 req = urllib.request.Request(‘http://www.xicidaili.com/‘, headers=headers) 8 response = urllib.request.urlopen(req) 9 html = response.read().decode(‘utf-8‘) 10 print(html)
-
Request参数如下:
urllib.request.Request(url, data=None, headers=, origin_req_host=None, unverifiable=False, method=None)
常用参数:
url:访问的地址。
data:此参数为可选字段,其中传递的参数需要转为bytes,如果是字典只需要通过 urllib.parse.urlencode 转换即可:
headers:http相应headers传递的信息,构造方法:headers 参数传递,通过调用 Request 对象的 add_header() 方法来添加请求头。
其他参数:
origin_req_host :指的是请求方的 host 名称或者 IP 地址。
unverifiable :用来表明这个请求是否是无法验证的,默认是 False 。意思就是说用户没有足够权限来选择接收这个请求的结果。如果没有权限,这时 unverifiable 的值就是 True 。
method :用来指示请求使用的方法,比如 GET , POST , PUT 等
-
urllib.request.ProxyHandler(ip代理)
1 import urllib.request 2 3 #创建自定义函数 4 def use_proxy(proxy_addr,url): 5 6 #使用urllib.request.ProxyHandle()设置代理服务器参数 7 proxy = urllib.request.ProxyHandler(‘http‘:proxy_addr) 8 9 #使用urllib.request.build_opener()创建一个自定义的opener()对象 10 #第一个参数为代理信息,第二个参数为urllib.request.HTTPHandler类 11 opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler) 12 13 #为了方便,使用urllib.request.install_opener()创建全局默认的opener对象 14 urllib.request.install_opener(opener) 15 #urllib.request.urlopen()打开指定网址进行爬取,将函数的调用赋值给data 16 data = urllib.request.urlopen(url).read().decode(‘utf-8‘) 17 return data 18 19 proxy_addr = ‘61.135.217.7:80‘ 20 data = use_proxy(proxy_addr,"http:4//www.baidu.com") 21 print(len(data))
-
urllib.request.HTTPCookieProcessor
1 import http.cookiejar, urllib.request 2 3 cookie = http.cookiejar.CookieJar() 4 handler = urllib.request.HTTPCookieProcessor(cookie) 5 opener = urllib.request.build_opener(handler) 6 response = opener.open(‘http://www.baidu.com‘)
- 保存cookie(MozillaCookieJar)
1 filename = ‘cookie.txt‘ 2 cookie = http.cookiejar.MozillaCookieJar(filename) 3 handler = urllib.request.HTTPCookieProcessor(cookie) 4 opener = urllib.request.build_opener(handler) 5 response = opener.open(‘http://www.baidu.com‘) 6 cookie.save(ignore_discard=True, ignore_expires=True)
- 使用cookie
1 import http.cookiejar, urllib.request 2 cookie = http.cookiejar.MozillaCookieJar() 3 cookie.load(‘cookie.txt‘, ignore_discard=True, ignore_expires=True) 4 handler = urllib.request.HTTPCookieProcessor(cookie) 5 opener = urllib.request.build_opener(handler) 6 response = opener.open(‘http://www.baidu.com‘) 7 print(response.read().decode(‘utf-8‘))
- urllib.error
用 try-except来捕捉异常,
主要的错误方式就两种 :
URLError(错误信息)
HTTPError(错误编码)
1 try: 2 data=urllib.request.urlopen(url) 3 print(data.read().decode(‘utf-8‘)) 4 except urllib.error.HTTPError as e: 5 print(e.code) 6 except urllib.error.URLError as e: 7 print(e.reason)
以上是关于Python urllib详解的主要内容,如果未能解决你的问题,请参考以下文章