从 Azure Databricks 笔记本登录到 Azure ML 工作区
Posted
技术标签:
【中文标题】从 Azure Databricks 笔记本登录到 Azure ML 工作区【英文标题】:Login to Azure ML workspace from Azure Databricks notebook 【发布时间】:2019-02-11 23:51:50 【问题描述】:我正在 Azure Databricks 集群中编写一个 python 笔记本来执行 Azure 机器学习实验。我创建了一个 Azure ML 工作区并在我的笔记本中实例化了一个工作区对象,如下所示:
id = InteractiveLoginAuthentication(force=False, tenant_id=AzureTenantId)
ws = Workspace(SubscriptionId, ResourceGroupName, WorkspaceName, auth = id)
我正在尝试执行交互式登录到 azure 以访问工作区,但是当我运行笔记本时出现以下错误。笔记本是用python写的
Falling back to use azure cli credentials. This fall back to use azure cli credentials will be removed in the next release.
Make sure your code doesn't require 'az login' to have happened before using azureml-sdk, except the case when you are specifying AzureCliAuthentication in azureml-sdk.
Performing interactive authentication. Please follow the instructions on the terminal.
From cffi callback <function _verify_callback at 0x7f4736825d08>:
Traceback (most recent call last):
File "/databricks/python/lib/python3.5/site-packages/OpenSSL/SSL.py", line 309, in wrapper
_lib.X509_up_ref(x509)
AttributeError: module 'lib' has no attribute 'X509_up_ref'
有人可以帮我解决这个问题吗?真的是 OpenSSL 问题吗?
【问题讨论】:
【参考方案1】:你在关注 Azure Doc 吗? https://docs.microsoft.com/en-us/azure/machine-learning/service/how-to-configure-environment#azure-databricks
你看过这些笔记本吗? - https://github.com/Azure/MachineLearningNotebooks/tree/master/how-to-use-azureml/azure-databricks
【讨论】:
【参考方案2】:尝试使用pip install azureml-sdk[databricks]
在 Azure Databricks 群集上安装 SDK。 pip extra 确保某些依赖项被固定到正确的版本。
【讨论】:
【参考方案3】:您需要在集群上安装 azureml-sdk[databricks] 库。不是 azureml-sdk,而是 azureml-sdk[databricks]:http://prntscr.com/mpk05g
【讨论】:
以上是关于从 Azure Databricks 笔记本登录到 Azure ML 工作区的主要内容,如果未能解决你的问题,请参考以下文章
从 Azure Databricks Notebook 访问 SQL Server
将 Azure Databricks 增量表迁移到 Azure Synapse SQL 池
以编程方式导入/导出 (Azure) Databricks Notebooks