保存到云对象存储后如何将文件/文件夹注册为项目数据资产？

Posted 2023-03-28

【中文标题】保存到云对象存储后如何将文件/文件夹注册为项目数据资产？

【英文标题】：How to register file/folder as a project data asset after saving to cloud object storage?

【发布时间】：2019-04-27 04:08:51

【问题描述】：

我已将 Spark 数据帧保存到云对象存储到 Watson Studio 项目的存储桶中：

staging     
  .write             
  .mode("overwrite") 
  .option("header", "true")
  .csv(cos.url('all.csv', 'myproject-bucket'))

我希望生成的文件夹显示在项目资产中。

最初，我尝试使用 project-lib，但从文档看来，您必须有一个类似对象的文件，这意味着将所有数据带回驱动程序节点，如果这样做，我的内存就会用完。

【参考方案1】：

您可以创建从 Watson Studio 到 COS 的连接并发布文件。

步骤

在 Watson Studio 界面中，转到“添加到项目”-> 连接 为“云对象存储”创建一个连接。您需要 COS 存储桶的凭据。 您可以选择勾选“发现数据资产”。它将存储桶中的所有文件添加到您的项目资产中。您可以从那里发布资产。 如果您没有选择“发现数据资产”，那么您可以手动选择文件。转到“添加到项目”-> 连接数据并使用您之前创建的连接，它将列出您可以从中选择的文件。