PC端数据下载软件开发（Python）

Posted 2021-03-01 hotwater99

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了PC端数据下载软件开发（Python）相关的知识，希望对你有一定的参考价值。

>> [目录] 数据远程采集 Step by Step

存储工具：阿里云->对象存储

WIN10，Python 3.7.4，PyCharm

需要将数据从云端下载到本地后再进行后续分析处理。

手动下载

需要下载的文件不多时，可以用这个方式。

依次点击：阿里云->控制台->对象存储->Bucket列表->XX Bucket->文件管理

该界面下，选中数据文件后，点击批量操作->下载

脚本下载（Python）

按照阿里云的SDK文档（有各种语言的版本，这里选的是Python），可以很快地编写下载脚本：

https://help.aliyun.com/document_detail/32027.html?spm=a2c4g.11186623.2.24.5c741c62a5XKqp#concept-32027-zh

用到下载文件、列举文件、删除文件这3个功能。

下载文件

以下代码用于将指定的OSS文件下载到本地文件：

# -*- coding: utf-8 -*-
import oss2

# 阿里云主账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维，请登录 https://ram.console.aliyun.com 创建RAM账号。
auth = oss2.Auth(\'<yourAccessKeyId>\', \'<yourAccessKeySecret>\')
# Endpoint以杭州为例，其它Region请按实际情况填写。
bucket = oss2.Bucket(auth, \'http://oss-cn-hangzhou.aliyuncs.com\', \'<yourBucketName>\')
# <yourObjectName>从OSS下载文件时需要指定包含文件后缀在内的完整路径，例如abc/efg/123.jpg。
# <yourLocalFile>由本地文件路径加文件名包括后缀组成，例如/users/local/myfile.txt。
bucket.get_object_to_file(\'<yourObjectName>\', \'<yourLocalFile>\')

列举文件

以下代码用于列举指定存储空间下的10个文件：

# -*- coding: utf-8 -*-
import oss2
from itertools import islice

# 阿里云主账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维，请登录 https://ram.console.aliyun.com 创建RAM账号。
auth = oss2.Auth(\'<yourAccessKeyId>\', \'<yourAccessKeySecret>\')
# Endpoint以杭州为例，其它Region请按实际情况填写。
bucket = oss2.Bucket(auth, \'http://oss-cn-hangzhou.aliyuncs.com\', \'<yourBucketName>\')

# oss2.ObjectIteratorr用于遍历文件。
for b in islice(oss2.ObjectIterator(bucket), 10):
    print(b.key)

删除文件

以下代码用于删除指定文件：

# -*- coding: utf-8 -*-
import oss2

# 阿里云主账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维，请登录 https://ram.console.aliyun.com 创建RAM账号。
auth = oss2.Auth(\'<yourAccessKeyId>\', \'<yourAccessKeySecret>\')
# Endpoint以杭州为例，其它Region请按实际情况填写。
bucket = oss2.Bucket(auth, \'http://oss-cn-hangzhou.aliyuncs.com\', \'<yourBucketName>\')

# <yourObjectName>表示删除OSS文件时需要指定包含文件后缀在内的完整路径，例如abc/efg/123.jpg。
bucket.delete_object(\'<yourObjectName>\')

根据上述代码，编写数据下载脚本如下（保存为 oss_download.py）：

  1 import oss2
  2 import os
  3 from itertools import islice
  4 
  5 local_dir = \'E://data//\'
  6 access_key = \'<yourAccessKeyId>\'
  7 secret_key = \'<yourAccessKeySecret>\'
  8 
  9 try:
 10   # 阿里云主账号AccessKey拥有所有API的访问权限，风险很高。
 11   # 强烈建议您创建并使用RAM账号进行API访问或日常运维,
 12   # 请登录 https://ram.console.aliyun.com 创建RAM账号。
 13   auth = oss2.Auth(access_key, secret_key)
 14   # Endpoint以北京为例，其它Region请按实际情况填写。
 15   bucket = oss2.Bucket(auth, \'oss-cn-beijing.aliyuncs.com\', \'<yourBucketName>\')
 16 
 17   for obj in oss2.ObjectIterator(bucket):
 18     print(obj.key)
 19     filepath = local_dir + obj.key
 20     if os.path.exists(filepath):
 21       print (\'已存在：\' + filepath)
 22       # delete data
 23       print(\'删除云端数据：\' + obj.key)
 24       bucket.delete_object(obj.key)
 25     else:
 26       filedir = os.path.dirname(filepath)
 27       if not os.path.exists(filedir):
 28         os.makedirs(filedir)
 29         print(\'目录创建成功:\' + filedir)
 30       bucket.get_object_to_file(obj.key, filepath)
 31 except:
 32   print(\'wrong\')