urllib运用

Posted 2021-03-04 lizhihoublog

# 1.导入urllib中的request
# 2.定义爬取的url(统一资源定位符)
# 3.定义一个请求对象request
# request的参数有url：访问的网址；data：发起请求时带的数据请求方式为post；
# headers：包括发送HTTP报文的键值对(例如user-agent请求头)可以利用random中的choice方法随机一个user-agent
# 4.定义一个响应对象接收访问的网页信息(此时返回的是一个response对象)
# 5.使用read()方法和decode()方法对返回的数据进行处理返回成utf-8的格式
from urllib import request
url_1 = ‘https://www.baidu.com/‘
header = {
    ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0‘
}
req = request.Request(url=url_1,headers=header)
response = request.urlopen(req).read().decode(‘utf-8‘)

print(response)