Spark SQL 传递变量 - Synapse（Spark 池）

Posted 2023-03-25

【中文标题】Spark SQL 传递变量 - Synapse（Spark 池）

【英文标题】：Spark SQL passing variables - Synapse (Spark pool)

【发布时间】：2021-08-20 00:45:15

【问题描述】：

我有以下 SparkSQL（Spark 池 - Spark 3.0）代码，我想将一个变量传递给它。我怎样才能做到这一点？我尝试了以下方法：

#cel 1 (Toggle parameter cell):
%%pyspark
stat = 'A'

#cel2:
select * from silver.employee_dim where Status= '$stat'

【参考方案1】：

当您将单元格作为 PySpark 运行时，您可以像这样将变量传递给您的查询：

#cel 1 (Toggle parameter cell):
%%pyspark
stat = 'A' #define variable

#cel2:
%%pyspark
query = "select * from silver.employee_dim where Status='" + stat + "'"
spark.sql(query) #execute SQL

由于您正在执行 SELECT 语句，我假设您可能希望将结果加载到 DataFrame：

sqlDf = spark.sql(query)

sqlDf.head(5) #select first 5 rows