ClearML 如何在 AWS Sagemaker 中更改 clearml.conf 文件

Posted 2023-02-15

【中文标题】ClearML 如何在 AWS Sagemaker 中更改 clearml.conf 文件

【英文标题】：ClearML how to change clearml.conf file in AWS Sagemaker

【发布时间】：2021-05-18 19:51:47

【问题描述】：

我正在使用 AWS Sagemaker Jupyter 笔记本。 我已经在 J​​upyter 的 AWS Sagemaker 中安装了 clearml 包。 ClearML 服务器安装在 AWS EC2 上。 我需要将工件和模型存储在 AWS S3 存储桶中，因此我想在 clearml.conf 文件中指定 S3 的凭证。 如何更改 AWS Sagemaker 实例中的 clearml.conf 文件？看起来好像对它上面的所有文件夹都拒绝了权限。 或者也许有人可以提出更好的方法。

【参考方案1】：

免责声明我是 ClearML（前身为 Trains）团队的一员。

要设置凭据（和clearml-server 主机），您可以使用Task.set_credentials。 要将 S3 存储桶指定为所有工件（以及调试图像）的输出，您只需将其设置为 files_server。

例如：

from clearml import Task

Task.set_credentials(api_host='http://clearml-server:8008', web_host='http://clearml-server:8080', files_host='s3://my_bucket/folder/',
key='add_clearml_key_here', secret='add_clearml_key_secret_here')

要传递您的 S3 凭证，只需在 jupyter 笔记本顶部添加一个单元格，然后设置标准 AWS S3 环境变量：

import os
os.environ['AWS_ACCESS_KEY_ID'] = 's3_bucket_key_here'
os.environ['AWS_SECRET_ACCESS_KEY'] = 's3_bucket_secret_here'
# optional
os.environ['AWS_DEFAULT_REGION'] = 's3_bucket_region'