Python urlopen() & urlretrieve() 用法解析及实例演示（超详细）

Posted 2021-09-09 ZSYL

Python urlopen & urlretrieve 用法解析

• 1. urlopen() 方法
• 2. urlretrieve() 方法
• 3. 下载cifar-10数据集
• 4. 下载 VGG16 的npy格式的模型文件

1. urlopen() 方法

urllib.urlopen(url[, data[, proxies]])：创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。

参数说明:

• url：表示远程数据的路径，一般是网址；
• data：表示以post方式提交到url的数据；
• proxies：用于设置代理；

urlopen 返回 一个类文件对象，它提供了如下方法：

• read() , readline() , readlines() , fileno() , close() ：这些方法的使用方式与文件对象完全一样;
• info()：返回一个httplib.HTTPMessage对象，表示远程服务器返回的头信息;
• getcode()：返回Http状态码。如果是http请求，200表示请求成功完成;404表示网址未找到；
• geturl()：返回请求的url；

代码示例：

import urllib
url = "http://www.baidu.com/"
#urlopen()
sock = urllib.urlopen(url)
htmlCode = sock.read()
sock.close
fp = open("e:/1.html","wb")
fp.write(htmlCode)
fp.close
#urlretrieve()
urllib.urlretrieve(url, 'e:/2.html')

urlopen() 可以轻松获取远端html页面信息，然后通过Python正则对所需要的数据进行分析，匹配出想要用的数据，再利用urlretrieve() 将数据下载到本地。

对于访问受限或者对连接数有限制的远程url地址可以采用proxies（代理的方式）连接，如果远程连接数据量过大，单线程下载太慢的话可以采用多线程下载，这个就是传说中的爬虫。

2. urlretrieve() 方法

url retrieve: url 检索（百度翻译）

urlretrieve(url, filename=None, reporthook=None, data=None)

urllib.urlretrieve(url[, filename[, reporthook[, data]]])：直接将远程数据下载到本地。

参数说明：

• url：外部或者本地url
• filename：指定了保存到本地的路径（如果未指定该参数，urllib会生成一个临时文件来保存数据）；
• reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度（hook：钩）。
• data：指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers)，filename表示保存到本地的路径，header表示服务器的响应头。

实例：

下面通过例子来演示一下这个方法的使用，这个例子将新浪首页的html抓取到本地，保存在D:/sina.html文件中，同时显示下载的进度。

import urllib

def callbackfunc(blocknum, blocksize, totalsize):
  '''回调函数
  @blocknum: 已经下载的数据块
  @blocksize: 数据块的大小
  @totalsize: 远程文件的大小
  '''
  # 计算下载进度（百分比）
  percent = 100.0 * blocknum * blocksize / totalsize
  if percent > 100:
    percent = 100
  print "%.2f%%"% percent  # 打印下载进度信息

# fetch url link
url = 'http://www.sina.com.cn'
# save path
local = 'd:\\\\sina.html'
# 访问url，类似requests的使用
urllib.urlretrieve(url, local, callbackfunc)

3. 下载cifar-10数据集

下载cifar-10数据集为例，理解urlretrieve的用法：

from urllib.request import urlretrieve
import os
 
 
def download(url, savepath='./'):
    """
    download file from internet
    :param url: path to download from
    :param savepath: path to save files
    :return: None
    """
    def reporthook(a, b, c):
        """
        显示下载进度
        :param a: 已经下载的数据块
        :param b: 数据块的大小
        :param c: 远程文件大小
        :return: None
        """
        print("\\rdownloading: %5.1f%%" % (a * b * 100.0 / c), end="")
    # 获取url后缀即文件名
    filename = os.path.basename(url)
    # 判断文件是否存在，如果不存在则下载
    if not os.path.isfile(os.path.join(savepath, filename)):
        print('Downloading data from %s' % url)
        urlretrieve(url, os.path.join(savepath, filename), reporthook=reporthook)
        print('\\nDownload finished!')
    else:
        print('File already exsits!')
    # 获取文件大小
    filesize = os.path.getsize(os.path.join(savepath, filename))
    # 文件大小默认以Bytes计， 转换为Mb
    print('File size = %.2f Mb' % (filesize/1024/1024))
 
if __name__ == '__main__':
    # 以下载cifar-10数据集为例
    url = "https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz"
    download(url, savepath='./')

当指定文件夹下不存在待下载文件时，执行下载：

Downloading data from https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz
downloading: 100.0%
Download finished!
File size = 162.60 Mb

当指定文件夹下已存在待下载文件同名文件，则不执行下载：

File already exsits!
File size = 162.60 Mb

4. 下载 VGG16 的npy格式的模型文件

 # coding=utf-8

from os.path import isfile, isdir

from urllib.request import urlretrieve
from tqdm import tqdm
import tarfile

# 下载进程，继承tqdm进度条类
class DLProgress(tqdm):
    last_block = 0
	
    def hook(self, block_num=1, block_size=1, total_size=None):
    	"""
        定义回调函数reporthook：显示下载进度
        :param block_num: 已经下载的数据块
        :param block_size: 数据块的大小
        :param total_size: 远程文件大小
        :return: None
        """
        self.total = total_size  # 总下载文件大小
        self.update((block_num - self.last_block) * block_size)  # 进度更新，记录一次下载的数据块量
        self.last_block = block_num  # 记录上一次下载的数据块数目

# 如果不存在vgg16.npy文件
if not isfile("vgg16.npy"):
	# 实例化一个下载进程对象
    with DLProgress(unit='B', unit_scale=True, miniters=1,
                    desc='VGG16 Parameters') as pbar:
        urlretrieve(
                'https://s3.amazonaws.com/content.udacity-data.com/nd101/vgg16.npy',
                'vgg16.npy',
                pbar.hook)
else:
    print("Parameter file already exists!")

# 下载flower_photos.tar.gz数据集
dataset_folder_path = 'flower_photos'
if not isfile('flower_photos.tar.gz'):  # 如果未下载
	# 实例化一个下载进程对象，初始化默认继承tqdm的__init__()初始化方法
    with DLProgress(unit='B', unit_scale=True, miniters=1,
                    desc='Flowers Dataset') as pbar:
        # 调用urlretrieve方法开始下载
        urlretrieve(
                'http://download.tensorflow.org/example_images/flower_photos.tgz',
                'flower_photos.tar.gz',
                pbar.hook)
# 如果未解压，便使用tarfile进行解压
if not isdir(dataset_folder_path):
    with tarfile.open('flower_photos.tar.gz') as tar:
        tar.extractall()
        tar.close()

参考：Link1 Link2

加油!

感谢!

努力!