urllib运用
Posted lizhihoublog
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了urllib运用相关的知识,希望对你有一定的参考价值。
# 1.导入urllib中的request # 2.定义爬取的url(统一资源定位符) # 3.定义一个请求对象request # request的参数有url:访问的网址;data:发起请求时带的数据请求方式为post; # headers:包括发送HTTP报文的键值对(例如user-agent请求头)可以利用random中的choice方法随机一个user-agent # 4.定义一个响应对象接收访问的网页信息(此时返回的是一个response对象) # 5.使用read()方法和decode()方法对返回的数据进行处理返回成utf-8的格式 from urllib import request url_1 = ‘https://www.baidu.com/‘ header = { ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0‘ } req = request.Request(url=url_1,headers=header) response = request.urlopen(req).read().decode(‘utf-8‘) print(response)
以上是关于urllib运用的主要内容,如果未能解决你的问题,请参考以下文章