作业终止后如何将生成的文件从 Azure Databricks 导出到 Azure DevOps？

Posted 2023-02-19

【中文标题】作业终止后如何将生成的文件从 Azure Databricks 导出到 Azure DevOps？

【英文标题】：How to export files generated to Azure DevOps from Azure Databricks after a job terminates?

【发布时间】：2021-10-21 03:07:23

【问题描述】：

我们正在使用 Azure DevOps 向 Databricks 提交训练作业。训练作业使用笔记本来训练机器学习模型。我们正在使用databricks CLI 从 ADO 提交作业。

在笔记本的步骤中，我们创建了一个.pkl 文件，我们希望将其下载到构建代理并将其作为工件发布到 Azure DevOps 中。我们如何做到这一点？

【参考方案1】：

这实际上取决于该文件的存储方式：

如果只是保存在 DBFS 上，可以使用databrics fs cp 'dbfs:/....' local-path 如果文件存储在本地文件系统上，则将其复制到DBFS（例如，使用dbutils.fs.cp），然后使用上一项 如果模型被 MLflow 跟踪，那么您可以通过MLflow API（或REST API）将模型显式导出到 DBFS（您也可以直接对 DevOps 执行此操作，只需要具有正确的凭据等。 ) 或使用this tool to export models/experiments/runs to local disk