python3 urllib学习

Posted huy360

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python3 urllib学习相关的知识,希望对你有一定的参考价值。

urllib 是Python内置的HTTP请求库

urllib.request 请求模块
urllib.error 异常处理模块
urllib.parse url解析模块
urllib.robotparser robots.txt解析模块

urllib.request 请求模块

request.urlopen() 
常用参数:
url
data:如果有变成post方法,数据格式必须是application/x-www-from-unlencoded
返回类文件句柄
类文件句柄常用方法
read(size):size=-1/none
//读取
readeline()
//读取一行
readelines()
//读取多行
close()
//关闭
getcode() //获取请求状态

HTTPMessage方法
文件句柄.info() 返回 httplib.HTTPMessage实例
dir() 是一个内置函数,用于列出对象的所有属性及方法
items()
keys()
values()

request.urlretrieve()
利用urlretrieve() 将数据下载到本地。
常用参数:
url
finename 指定保存本地路劲
reporthook 回调函数,当连接上服务器、以及相应的数据块传输完毕时会触发该回调,显示下载进度
data 指post到服务器的数据,该方法返回一个包含两个元素(filename,headers)的元组


import sys,io
from urllib import request,error

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding=‘gb18030‘) #改变标准输出的默认编码

def progress(blk, blk_size, total_size):
print(‘%d/%d - %.02f%%‘ % (blk * blk_size, total_size, (float)(blk * blk_size) * 100 / total_size))

def retrieve():
try:
request.urlretrieve("http://blog.kamidox.com","test.html",reporthook=progress)
except error.URLError as e:
print(e.reason)
except error.HTTPError as e:
print(e.errno)
if __name__ =="__main__":
retrieve()
 

 

 



    



















































以上是关于python3 urllib学习的主要内容,如果未能解决你的问题,请参考以下文章

python3网络爬虫系统学习:第一讲 基本库urllib

python3: 爬虫---- urllib, beautifulsoup

Python3学习笔记(urllib模块的使用)

python3爬虫学习urllib模块的使用

[Python3]HTTP处理 - urllib模块

学习Python的urllib模块