如何在 PyCharm 中使用 databricks utils 函数?我找不到合适的 pip 包
Posted
技术标签:
【中文标题】如何在 PyCharm 中使用 databricks utils 函数?我找不到合适的 pip 包【英文标题】:How can I use databricks utils functions in PyCharm? I can't find appropriate pip package 【发布时间】:2021-07-14 09:46:34 【问题描述】:PyCharm IDE。我想在模块中使用dbutils.widgets.get()
,而不是将这个模块导入数据块。我已经尝试过pip install databricks-client
pip install databricks-utils
和 pip install DBUtils
【问题讨论】:
【参考方案1】:dbutils
仅作为databricks-connect package 的一部分提供。它的文档包含有关 how to setup PyCharm 的详细描述以使用它。还有covers 了解如何使用dbutils
。
您可能需要定义以下包装器才能在本地和 Databricks 上使用 dbutils
:
def get_dbutils(spark):
from pyspark.dbutils import DBUtils
return DBUtils(spark)
get_dbutils().fs.cp('file:/home/user/data.csv', 'dbfs:/uploads')
【讨论】:
以上是关于如何在 PyCharm 中使用 databricks utils 函数?我找不到合适的 pip 包的主要内容,如果未能解决你的问题,请参考以下文章
将 Databricks 集群与本地计算机 (AWS) 连接
如何使用 Spark sql 在 Databricks 中使用内部联接更新 Databricks Delta 表
Azure Databricks:如何在 Databricks 群集中添加 Spark 配置
如何在 Databricks 的 PySpark 中使用在 Scala 中创建的 DataFrame