对象存储迁移工具使用

Posted 2021-06-21 zoer

1 aliyun OSS

1. 1 迁移教程

https://help.aliyun.com/document_detail/95159.html

1.2 步骤：

创建bucket
创建IAM,并授予AliyunMGWFullAccess权限，获取key and secert
创建源数据地址：
    注意endpoint（AWS 北京）: http://s3.cn-north-1.amazonaws.com.cn
创建目的数据地址：
    注意：endpoint（aliyun 北京）: https://oss-cn-beijing.aliyuncs.com
创建任务

1.3 注意事项：

• AZ不可变的局限性

• endpoint根据实际的使用区域进行查询获取

• 需要预估迁移数据，增加效率

• 待迁移数据不能是未解冻或解冻中文件，针对归档类型的数据

• 需申请数据迁移公测，可以提交工单进行加急

• 迁移最大数据量10240TB

• 迁移等同于复制，原文件仍然存在

• 可以设置迁移时间及削峰等操作

1.4 迁移结果

状态：成功
任务创建时间 : 2021-05-14 14:00:37
任务完成时间 : 2021-05-14 14:05:21
任务平均速度 : 1.88MB/s
文件总数 : 5
总文件大小 : 560,958,402byte

2 tencent COS

2.1迁移教程

https://cloud.tencent.com/document/product/659/37855

2.2 步骤

创建bucket
创建IAM,并授予AliyunMGWFullAccess权限，获取key and secert
建立迁移任务

2.3 注意事项：

• 直接使用迁移服务平台进行迁移，https://console.cloud.tencent.com/msp/v2file/create

• 输入key secret后点击刷新可以直接获取源bucket列表

• 可以设置迁移时间及削峰等操作

• 需要预估迁移数据，增加效率

• 单个文件不建议超过50GB

2.4 迁移结果

状态：成功
任务创建时间 : 2021-05-14 14:26:14
任务完成时间 : 2021-05-14 14:27:39
迁移总时长：1分25秒
文件总数 : 5
总文件大小 : 560,958,402byte

 

3 OS

3.1 安装AWS CLI

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install

3.2 配置AWS CLI

aws configure
key:
secret:
region: cn-north-1
format: json

3.3 迁移命令

aws s3 cp --recursive s3://s3.cloude.top/  ./

3.4 结果

状态：成功
目标主机：腾讯云主机
速度：15Mb/s