爬虫01-urllib常用函数

Posted wcymiracle

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫01-urllib常用函数相关的知识,希望对你有一定的参考价值。

from urllib import request
from urllib import parse
#1.读取网页
url="http://www.baidu.com"
resp=request.urlopen(url)
# print(resp.getcode())#获取响应码
# print(resp.read())#读取网页
# print(resp.readline())#读取一行
# print(resp.readlines()[1])#读取网页返回列表

#2.下载
request.urlretrieve("http://www.baidu.com","baidu.html")#下载网页
request.urlretrieve("https://bkimg.cdn.bcebos.com/pic/38dbb6fd5266d0167927ca029b2bd40735fa35d9?x-bce-process=image/resize,m_lfit,w_268,limit_1/format,f_jpg","Jay.jpg")

#3.编码解码
params={"wd":"周杰伦"}
qs=parse.urlencode(params)#编码
sq=parse.parse_qs(qs)#解码
print(sq)

#4.获取请求头信息
result=parse.urlparse(url)
print(result)#全部信息
print(result.scheme)
print(result.netloc)
print(result.path)
print(result.params)
print(result.query)
print(result.fragment)

result2=parse.urlsplit(url)
print(result2)#全部信息
print(result2.scheme)
print(result2.netloc)
print(result2.path)
#print(result2.params) 没有这一项剩下和parse一样
print(result2.query)
print(result2.fragment)

  

以上是关于爬虫01-urllib常用函数的主要内容,如果未能解决你的问题,请参考以下文章

21个常用代码片段

常用Javascript代码片段集锦

scrapy按顺序启动多个爬虫代码片段(python3)

nodejs常用代码片段

scrapy主动退出爬虫的代码片段(python3)

JS常用代码片段-127个常用罗列-值得收藏