Python urllib详解

Posted meipu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python urllib详解相关的知识,希望对你有一定的参考价值。

  • Urllib

     官方文档地址:https://docs.python.org/3/library/urllib.html

    其主要包括一下模块:

    urllib.request 请求模块

    urllib.error 异常处理模块

    urllib.parse url解析模块

    urllib.robotparser robots.txt解析模块

  •   

  urllib.request.urlopen

  

   urlopen参数如下:

  urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None

常用参数:

  url:访问的地址,一般不只是地址。

  data:此参数为可选字段,特别要注意的是,如果选择,请求变为post传递方式,其中传递的参数需要转为bytes,如果是我们只需要通过 urllib.parse.urlencode 转换即可:

import urllib.parse
import urllib.request
data = bytes(urllib.parse.urlencode("word": "python"), encoding=  utf8)
response = urllib.request.urlopen("http://xxxxx", data=data)
print(response.read().decode(utf-8‘))

  timeout:设置网站的访问超时时间

其他参数:

  context 参数:它必须是 ssl.SSLContext 类型,用来指定 SSL 设置。

  cafile 和 capath 两个参数:是指定CA证书和它的路径,这个在请求 HTTPS 链接时会有用。

  cadefault 参数:现在已经弃用了,默认为 False 

urlopen返回对象提供方法:

  read() , readline() ,readlines() , fileno() , close() :对HTTPResponse类型数据进行操作。

  info():返回HTTPMessage对象,表示远程服务器返回的头信息。

  getcode():返回Http状态码。

  geturl():返回请求的url。

技术图片
 1 import urllib.request
 2 response = urllib.request.urlopen(http://python.org/)
 3 
 4 #查看 response 的返回类型
 5 print(type(response))
 6 
 7 #查看反应地址信息
 8 print(response)
 9 
10 #查看头部信息_1
11 print(response.info())
12 
13 #查看头部信息_2(http header)
14 print(response.getheaders())
15 
16 #输出头部属性信息
17 print(response.getheader("Server"))
18 
19 #查看响应状态信息_1
20 print(response.status)
21 
22 #查看响应状态信息_2
23 print(response.getcode())
24 
25 #查看响应url地址
26 print(response.geturl())
27 
28 #输出网页源码
29 page = response.read()
30 print(page.decode(utf-8))  
View Code

 

  urllib.request.Request

  

技术图片
 1 import urllib.request
 2 headers = Host: www.xicidaili.com,
 3            User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT6.0),
 4            Accept: rapplication/json, text/javascript, */*; q=0.01,
 5            Referer: rhttp://www.xicidaili.com/, 
 6 
 7 req = urllib.request.Request(http://www.xicidaili.com/, headers=headers)
 8 response = urllib.request.urlopen(req)
 9 html = response.read().decode(utf-8)
10 print(html)
View Code
  • Request参数如下:

  urllib.request.Request(url, data=None, headers=, origin_req_host=None, unverifiable=False, method=None)

    

常用参数:  

  url:访问的地址。

  data:此参数为可选字段,其中传递的参数需要转为bytes,如果是字典只需要通过 urllib.parse.urlencode 转换即可:

    headers:http相应headers传递的信息,构造方法:headers 参数传递,通过调用 Request 对象的 add_header() 方法来添加请求头。

其他参数:

  origin_req_host :指的是请求方的 host 名称或者 IP 地址。

  unverifiable :用来表明这个请求是否是无法验证的,默认是 False 。意思就是说用户没有足够权限来选择接收这个请求的结果。如果没有权限,这时 unverifiable 的值就是 True 。

  method :用来指示请求使用的方法,比如 GET , POST , PUT 等

  • urllib.request.ProxyHandler(ip代理)

技术图片
 1 import urllib.request
 2 
 3 #创建自定义函数
 4 def use_proxy(proxy_addr,url):
 5 
 6     #使用urllib.request.ProxyHandle()设置代理服务器参数
 7     proxy = urllib.request.ProxyHandler(http:proxy_addr)
 8 
 9     #使用urllib.request.build_opener()创建一个自定义的opener()对象
10     #第一个参数为代理信息,第二个参数为urllib.request.HTTPHandler类
11     opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
12 
13     #为了方便,使用urllib.request.install_opener()创建全局默认的opener对象
14     urllib.request.install_opener(opener)
15     #urllib.request.urlopen()打开指定网址进行爬取,将函数的调用赋值给data
16     data = urllib.request.urlopen(url).read().decode(utf-8)
17     return data
18 
19 proxy_addr = 61.135.217.7:80
20 data = use_proxy(proxy_addr,"http:4//www.baidu.com")
21 print(len(data))
View Code
  • urllib.request.HTTPCookieProcessor

  

技术图片
1 import http.cookiejar, urllib.request
2 
3 cookie = http.cookiejar.CookieJar()
4 handler = urllib.request.HTTPCookieProcessor(cookie)
5 opener = urllib.request.build_opener(handler)
6 response = opener.open(http://www.baidu.com)
View Code

 

  • 保存cookie(MozillaCookieJar)

  

技术图片
1 filename = cookie.txt  
2 cookie = http.cookiejar.MozillaCookieJar(filename)  
3 handler = urllib.request.HTTPCookieProcessor(cookie)  
4 opener = urllib.request.build_opener(handler)  
5 response = opener.open(http://www.baidu.com)  
6 cookie.save(ignore_discard=True, ignore_expires=True)
View Code
  • 使用cookie

  

技术图片
1 import http.cookiejar, urllib.request
2 cookie = http.cookiejar.MozillaCookieJar()
3 cookie.load(cookie.txt, ignore_discard=True, ignore_expires=True)
4 handler = urllib.request.HTTPCookieProcessor(cookie)
5 opener = urllib.request.build_opener(handler)
6 response = opener.open(http://www.baidu.com)
7 print(response.read().decode(utf-8))
View Code
  • urllib.error

  用 try-except来捕捉异常,

  主要的错误方式就两种 :

    URLError(错误信息)

    HTTPError(错误编码)

  

技术图片
1 try:
2     data=urllib.request.urlopen(url)
3     print(data.read().decode(utf-8))
4 except urllib.error.HTTPError as e:
5     print(e.code)
6 except urllib.error.URLError as e:
7     print(e.reason)
View Code

 

以上是关于Python urllib详解的主要内容,如果未能解决你的问题,请参考以下文章

Python urllib详解

python urllib库详解

Python之urllib库详解

Python--urllib3库详解1

Python urllib3模块详解

详解:Python2中的urlliburllib2与Python3中的urllib以及第三方模块requests