爬虫常用的 urllib 库知识点

Posted muyisir

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫常用的 urllib 库知识点相关的知识,希望对你有一定的参考价值。

urllib 库

urllib 库是 Python 中一个最基本的网络请求库。它可以模仿浏览器的行为向指定的服务器发送请求,同时可以保存服务器返回的数据。

urlopen()

在 Python3 的 urllib 库中,所有和网络请求的相关方法都被集中到 urllib.request 模块下了。以下是 urlopen() 方法最基本的使用方法:

from urllib import request
resp = request.urlopen(‘https://www.baidu.com‘)
print(resp.read())

上面的代码执行完毕后在终端会打印出百度首页的源代码。

urlopen() 方法可以写两个参数(常用的):

  • url:请求的 url
  • data:请求的 data,如果设置了这个值,那么将变成 post 请求

urlopen() 方法的返回值是一个 http.client.HPPTResponse 对象,这个对象是一个类文件句柄对象。有 read(size)readline()readlines() 以及 getcode() 等方法。

urlretrieve()

这个方法可以方便的将网页上的一个文件保存到本地。以下代码可以非常方便的将百度的首页下载到本地:

from urllib import request
request.urlretrieve(‘http://www.baidu.com/‘, ‘baidu.html‘)

urlencode()

若 ulr 中包含了中文或其他特殊字符,则浏览器会自动给我们进行编码。要用爬虫模拟浏览器,就需要进行手动编码,此时就要用到 urlencode() 方法来实现。这个方法可以把字典数据转换为 url 编码的数据。例如:

from urllib import parse

url = ‘https://www.baidu.com/s‘

params = {"wd": "教学设计"}
qs = parse.urlencode(params)
url = url + "?ie=UTF-8&&" + qs
print(qs)
print(url)
resp = request.urlopen(url)
print(resp.read())

parse_qs()

此方法可以将经过编码后的 ulr 参数进行解码。例如:

from urllib import parse

params = {‘name‘: ‘木易‘, ‘age‘: ‘21‘, ‘sex‘: ‘male‘}
qs = parse.urlencode(params)
result = parse.parse_qs(qs)
print(result)

urlparse() 和 urlsplit()

这两个方法用来对 url 的各个组成部分进行分割。最后可以一次性拿到全部的 url 组成部分,也可以单独拿出某个部分。例如:

from urllib import parse

url = ‘https://baike.baidu.com/item/hello%20world/85501?fr=aladdin#2_13‘

result = parse.urlparse(url)
print(result) //拿出全部
// 分别拿出各个部分
print(‘scheme:‘, result.scheme)
print(‘netloc:‘, result.netloc)
print(‘path:‘, result.path)
print(‘params:‘,result.params)  // urlsplit() 方法没有此项结果
print(‘query:‘, result.query)
print(‘fragment:‘, result.fragment)

urlparse()urlsplit() 基本上是一模一样的,有一个不一样的地方是,urlparse() 里多了一个 “params” 属性,而 urlsplit() 没有这个 params 属性。例如有一个 url 为:“https://www.baidu.com/s;hello?wd=python&username=abc#1”,那么 urlparse() 可以的 “params” 获取到 “hello”,而 urlsplit() 则不可以。

request.Request 类

如果想要伪装爬虫,就要在请求的时候增加一些请求头,那么就必须使用 request.Request 类来实现,比如下面请求拉勾网的这段代码:

from urllib import request, parse

url = ‘https://www.lagou.com/jobs/positionAjax.json?px=default&gx=%E5%85%A8%E8%81%8C&needAddtionalResult=false&isSchoolJob=1‘

// 这里的 User-Agent 和 Referer 参数是我先用 Chrome 访问再用F12检查得到的,下面的 data 也是
headers = {
    ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36‘,
    ‘Referer‘: ‘https://www.lagou.com/jobs/list_Go?px=default&gx=%E5%85%A8%E8%81%8C&gj=&isSchoolJob=1&city=%E5%85%A8%E5%9B%BD‘
}

data = {
    ‘first‘: ‘true‘,
    ‘pn‘: 1,
    ‘kd‘: ‘python‘
}

req = request.Request(url, headers=headers, data=parse.urlencode(data).encode(‘utf-8‘), method=‘POST‘)
resp = request.urlopen(req)
print(resp.read().decode(‘utf-8‘))

ProxyHandler 处理器(代理设置)

许多网站会检测某一时间段某个 IP 的访问次数(通过流量统计,系统日志等),如果访问次数多得不像正常人,它会禁止这个 IP 的访问。所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算 IP 被禁止,依然可以换个 IP 继续爬取数据。
urllib 中通过 ProxyHandler 来设置使用代理服务器,下面代码说明如何使用自定义 opener 来使用代理:

from urllib import request

# 未使用代理
url = ‘http://httpbin.org/ip‘
resp = request.urlopen(url)
print(resp.read())

# 使用代理
# 1.使用 ProxyHandler,传入代理构建一个handler
handler = request.ProxyHandler({"https": "183.163.40.223:31773"})
# 2.使用上面创建的handler构建一个opener
opener = request.build_opener(handler)
# 3.使用opener发送一个请求
resp = opener.open(url)
print(resp.read())

可以通过 http://httpbin.org/ip 查看自己电脑网络的外网 IP 地址
常用的代理有:
- 西刺免费代理IP:http://www.xicidaili.com/
- 快代理:https://www.kuaidaili.com/
- 代理云:http://www.dailiyun.com/






以上是关于爬虫常用的 urllib 库知识点的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫常用哪些库?

Python爬虫-常用的请求方式

python3网络爬虫系统学习:第一讲 基本库urllib

Python开发爬虫常用库

爬虫中urllib库

Python3网络爬虫——Urllib库的基本使用