如何在 PyCharm 中使用 databricks utils 函数?我找不到合适的 pip 包

Posted

技术标签:

【中文标题】如何在 PyCharm 中使用 databricks utils 函数?我找不到合适的 pip 包【英文标题】:How can I use databricks utils functions in PyCharm? I can't find appropriate pip package 【发布时间】:2021-07-14 09:46:34 【问题描述】:

PyCharm IDE。我想在模块中使用dbutils.widgets.get(),而不是将这个模块导入数据块。我已经尝试过pip install databricks-client pip install databricks-utilspip install DBUtils

【问题讨论】:

【参考方案1】:

dbutils 仅作为databricks-connect package 的一部分提供。它的文档包含有关 how to setup PyCharm 的详细描述以使用它。还有covers 了解如何使用dbutils

您可能需要定义以下包装器才能在本地和 Databricks 上使用 dbutils

def get_dbutils(spark):
  from pyspark.dbutils import DBUtils
  return DBUtils(spark)

get_dbutils().fs.cp('file:/home/user/data.csv', 'dbfs:/uploads')

【讨论】:

以上是关于如何在 PyCharm 中使用 databricks utils 函数?我找不到合适的 pip 包的主要内容,如果未能解决你的问题,请参考以下文章

将 Databricks 集群与本地计算机 (AWS) 连接

如何使用 Spark sql 在 Databricks 中使用内部联接更新 Databricks Delta 表

Azure Databricks:如何在 Databricks 群集中添加 Spark 配置

如何在 Databricks 的 PySpark 中使用在 Scala 中创建的 DataFrame

如何在 Databricks 中使用 Python 将数据框数组拆分为列

Databricks 中使用的集群管理器是啥?如何更改 Databricks 集群中的执行程序数量?