关于sparksql中的hint

Posted 2021-02-15 LestatZ

前言

在Spark中，结构化查询可以通过指定查询提示(hint)来进行优化。

查询提示，即向查询加入注释，告诉查询优化器提供如何优化逻辑计划， 这在查询优化器无法做出最佳决策时十分有用。

Spark SQL支持COALESCE，REPARTITION以及BROADCAST提示。 在分析查询语句时，所有剩余的未解析的提示将从查询计划中被移除。

Spark SQL 2.2增加了对提示框架(Hint Framework)的支持。

如何使用查询提示hint

我们可以使用Dataset.hint运算符或带有提示的SELECT SQL语句指定查询提示。

// Dataset API
val q = spark.range(1).hint(name = "myHint", 100, true)
val plan = q.queryExecution.logical
scala> println(plan.numberedTreeString)
00 'UnresolvedHint myHint, [100, true]
01 +- Range (0, 1, step=1, splits=Some(8))

// SQL
val q = sql("SELECT /*+ myHint (100, true) */ 1")
val plan = q.queryExecution.logical
scala> println(plan.numberedTreeString)
00 'UnresolvedHint myHint, [100, true]
01 +- 'Project [unresolvedalias(1, None)]
02    +- OneRowRelation

SELECT SQL语句支持查询提示作为SQL查询中的注释，Spark SQL将其转换为逻辑计划中的UnresolvedHint一元逻辑运算符。

COALESCE 和 REPARTITION 提示
Spark SQL 2.4增加了对COALESCE和REPARTITION提示的支持（使用SQL注释), 语法如下：

SELECT /*+ COALESCE(5) */ …?

SELECT /*+ REPARTITION(3) */ …?

Broadcast提示
Spark SQL 2.2支持使用广播标准函数或SQL注释的BROADCAST提示 ，语法如下：

SELECT /*+ MAPJOIN(b) */ …?

SELECT /*+ BROADCASTJOIN(b) */ …?

SELECT /*+ BROADCAST(b) */ …?

参考资料

Hint Framework