使用 Snowflake JDBC 驱动程序支持 Snowflake EXPLAIN 查询

Posted

技术标签:

【中文标题】使用 Snowflake JDBC 驱动程序支持 Snowflake EXPLAIN 查询【英文标题】:Snowflake EXPLAIN query support with Snowflake JDBC Driver 【发布时间】:2021-01-19 20:39:59 【问题描述】:

有没有办法通过带有 Snowflake 扩展的 JDBC 驱动程序运行 EXPLAIN 雪花查询?我正在运行net.snowflake snowflake-jdbc 3.12.8,它会抛出一个错误,说net.snowflake.client.jdbc.SnowflakeSQLException: SQL compilation error: syntax error line 1 at position 15 unexpected 'EXPLAIN'.。我看到 3.12.16 有更多最新版本,但发行说明中没有提到这个附加功能。我正在运行的完全相同的查询在雪花 UI 中成功运行。

【问题讨论】:

您能否提供确切的查询以及您是如何通过 JDBC 执行它的? 【参考方案1】:

我使用 EXPLAIN 和 Snowflake JDBC 驱动程序 3.12.8 没有问题:

print(sc._jvm.net.snowflake.spark.snowflake.Utils.getClientInfoString())

x=sc._jvm.net.snowflake.spark.snowflake.Utils.runQuery(sfOptions, 'explain select * from numbers limit 10')
cols = x.getMetaData().getColumnNames()
print(cols)
while(x.next()):
  print([x.getString(i) for i in range(1, 1+cols.size())])

结果显示我使用的是指定的JDBC版本(通过PySpark)和EXPLAIN查询的结果:

 
 "spark.version" : "2.4.4",
 "spark.snowflakedb.version" : "2.8.1",
 "spark.app.name" : "Simple App",
 "scala.version" : "2.11.12",
 "java.version" : "1.8.0_242",
 "snowflakedb.jdbc.version" : "3.12.8"

['step', 'id', 'parent', 'operation', 'objects', 'alias', 'expressions', 'partitionsTotal', 'partitionsAssigned', 'bytesAssigned']
[None, None, None, 'GlobalStats', None, None, None, '1', '1', '512']
['1', '0', None, 'Result', None, None, 'NUMBERS.X', None, None, None]
['1', '1', '0', 'Limit', None, None, 'rowCount: 10', None, None, None]
['1', '2', '1', 'TableScan', 'TEMP.PUBLIC.NUMBERS', None, 'X', '1', '1', '512']

为了进一步进行社区调试,您需要粘贴代码以检查发生了什么。

【讨论】:

以上是关于使用 Snowflake JDBC 驱动程序支持 Snowflake EXPLAIN 查询的主要内容,如果未能解决你的问题,请参考以下文章

Snowflake JDBC 驱动元数据提取自定义属性

无法通过 Java 执行 Snowflake PUT 命令

通过Petnatho通过JDBC进行数据集成到Snowflake的大容量加载速度很慢

使用“?::TIMESTAMP_NTZ”在查询中指定类型时,Snowflake JDBC 批量插入失败并显示“绑定变量?未设置”

使用雪花 JDBC 驱动程序自定义接收器到雪花非常慢

Snowflake-Jitterbit 连接器错误:net.snowflake.client.jdbc.SnowflakeSQLException:当前会话中未选择活动仓库