urllib运用

Posted lizhihoublog

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了urllib运用相关的知识,希望对你有一定的参考价值。

# 1.导入urllib中的request
# 2.定义爬取的url(统一资源定位符)
# 3.定义一个请求对象request
# request的参数有url:访问的网址;data:发起请求时带的数据请求方式为post;
# headers:包括发送HTTP报文的键值对(例如user-agent请求头)可以利用random中的choice方法随机一个user-agent
# 4.定义一个响应对象接收访问的网页信息(此时返回的是一个response对象)
# 5.使用read()方法和decode()方法对返回的数据进行处理返回成utf-8的格式
from urllib import request
url_1 = https://www.baidu.com/
header = {
    User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0
}
req = request.Request(url=url_1,headers=header)
response = request.urlopen(req).read().decode(utf-8)

print(response)

 

以上是关于urllib运用的主要内容,如果未能解决你的问题,请参考以下文章

urllib运用

转: python requests的安装与简单运用

urllib运用

urllib中的保存cookie使用,运用cookiejar来模拟登录人人网

Python爬虫之GET和POST请求然后正确运用详解

Python爬虫之GET和POST请求然后正确运用详解