如何将 Azure 数据湖存储连接到 Azure ML？

Posted 2023-05-08

【中文标题】如何将 Azure 数据湖存储连接到 Azure ML？

【英文标题】：How to connect Azure Data lake storage to Azure ML?

【发布时间】：2017-03-07 15:16:16

【问题描述】：

您好，我开始学习 azure 数据湖和 azure 机器学习，我需要使用 azure 数据湖存储作为 azure 机器学习工作室的输入数据。那里有任何选项，我浏览了 azure 数据湖泊和机器学习文档，但我无法达到，最后我得到了一个解决方案 link 但他们提到没有选项，但这篇文章是旧的，所以可能是微软的人在上面添加了未来如果它请告诉我，让我知道谢谢。

【参考方案1】：

我推荐以下：

使用教程here 为您的 ADLS 获取租户 ID、客户端 ID 和客户端密码。 在 AML Studio 上安装 azure-datalake-store Python 包，方法是将其作为脚本包附加到执行 Python 脚本模块。 在执行 Python 脚本模块中，导入 azure-datalake-store 包并使用您的租户 ID、客户端 ID 和客户端密码连接到 ADLS。 从 ADLS 下载您需要的数据，并将其转换为 Python 脚本模块中的数据框；返回该数据框以使数据在 AML Studio 的其余部分中可用。

【讨论】：

如何安装 azure-datalake-store 模块的依赖项？它需要很多包，例如- adl、jwt、pathlib、msrest、oauthlib、chardet 等

【参考方案2】：

当然，您可以使用参考程序集针对您的 ADLS 数据将认知服务添加到 USQL。 https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-u-sql-cognitive

【参考方案3】：

您可以查看此 Microsoft Azure Docs，其中包括：

创建一个数据科学环境，以便在 Azure Data Lake 中构建可扩展的端到端解决方案。

此环境用于分析大型公共数据集，通过数据科学流程的规范步骤，从数据采集到模型训练，再到将模型部署为 Web 服务。

U-SQL 用于处理、探索和采样数据。

Python 和 Hive 与 Azure 机器学习工作室一起用于构建和部署预测模型。

链接：https://docs.microsoft.com/en-us/azure/machine-learning/team-data-science-process/data-lake-walkthrough