解析：urllib.request

Posted 2020-09-30 kmingspirit

urllib.request — Extensible library for opening URLs

import urllib.request

#网址
url = "http://www.douban.com/"

#请求
request = urllib.request.Request(url)

#爬取结果
response = urllib.request.urlopen(request)

data = response.read()

#设置解码方式
data = data.decode(‘utf-8‘)

#打印结果
print(data)

#打印爬取网页的各类信息

print(type(response))
print(response.geturl())
print(response.info())
print(response.getcode())

View Code

附上一个简单实例。

• 建议用Anaconda+IDE的配建方式。 在Anaconda中我们知道支持python2.x和python3随意转换。
• python urllib的变动。-urllib2被合并到urllib中，叫做urllib.request和urllib.error.
• 继上：urllib2.urlopen()变成urllib.request.urlopen()