R中databricks中的SQL雪花查询

Posted

技术标签:

【中文标题】R中databricks中的SQL雪花查询【英文标题】:SQL Snowflake Queries in databricks in R 【发布时间】:2021-01-18 12:06:22 【问题描述】:

在使用 R 数据块时,有没有办法可以在 Snowflake 数据库上执行 SQL 查询?

谢谢。

【问题讨论】:

【参考方案1】:

您可以使用已作为 Databricks 运行时的一部分提供的 Spark connector for Snowflake - 按照文档中的说明进行配置 - 您需要以下信息才能访问数据:

您的 Snowflake 帐户的 URL。 连接到该帐户的用户的登录名和密码。 连接后用于会话的默认数据库和架构。 连接后用于会话的默认虚拟仓库。

之后,您将能够使用标准 Spark API 访问 Snowflake 中的数据,如下所示:

snow.df.sparkr <- SparkR::read.df(
  source = "snowflake", 
  sfUrl = "<snowflake-url>",
  sfUser = user,
  sfPassword = password,
  sfDatabase = "<snowflake-database>",
  sfSchema = "<snowflake-schema>",
  sfWarehouse = "<snowflake-cluster>",
  dbtable = "iris"
)

Databrick's documentation on Snowflake 包含不同语言的完整笔记本,包括 R。

【讨论】:

【参考方案2】:

谢谢 Alex,实际上这就是我要找的东西:

snow.df.sparkr <- SparkR::read.df(
  source = "snowflake", 
  sfUrl = "<snowflake-url>",
  sfUser = user,
  sfPassword = password,
  sfDatabase = "<snowflake-database>",
  sfSchema = "<snowflake-schema>",
  sfWarehouse = "<snowflake-cluster>",
  query= "select * from iris" ##query specification
)

【讨论】:

以上是关于R中databricks中的SQL雪花查询的主要内容,如果未能解决你的问题,请参考以下文章

Databricks 中的雪花 Python 连接器错误

从 Databricks 加载雪花会更改表结构

为啥我不能从 azure data studio 或 databricks 查询突触无服务器视图?

使用 Python/Scala 的 Databricks 雪花表

如何从 Databricks 中的 SQL 语句输出创建变量

替换雪花中的子查询