Databricks 和 Spark 中的公用表表达式 (CTE)

Posted

技术标签:

【中文标题】Databricks 和 Spark 中的公用表表达式 (CTE)【英文标题】:Common Table Expressions (CTEs) in Databricks and Spark 【发布时间】:2020-06-23 11:05:21 【问题描述】:

我在 Databricks 中有一个 spark 数据框。我正在尝试使用公用表表达式 (CTE) 运行一些 sql 查询。这是前 10 行数据

+----------+----------+------+---+---+---------+-----------------+
| data_date|   user_id|region|sex|age|age_group|sum(duration_min)|
+----------+----------+------+---+---+---------+-----------------+
|2020-01-01|22600560aa|     1|  1| 28|        2|              0.0|
|2020-01-01|17148900ab|     6|  2| 60|        5|           1138.0|
|2020-01-01|21900230aa|     5|  1| 43|        4|              0.0|
|2020-01-01|35900050ac|     8|  1| 16|        1|            224.0|
|2020-01-01|22300280ad|     6|  2| 44|        4|              8.0|
|2020-01-02|19702160ac|     2|  2| 55|        5|              0.0|
|2020-02-02|17900020aa|     5|  2| 64|        5|            264.0|
|2020-02-02|16900120aa|     3|  1| 69|        6|              0.0|
|2020-02-02|11160900aa|     6|  2| 52|        5|              0.0|
|2020-03-02|16900290aa|     5|  1| 37|        3|              0.0|
+----------+----------+------+---+---+---------+-----------------+

在这里,我将每个用户注册日期存储在 regs CTE 中,然后计算每月的注册数量。这个带有 CTE 的块在 Databricks 中没有任何问题

%sql


    WITH regs AS (
      SELECT
        user_id,
        MIN(data_date) AS reg_date
      FROM df2
      GROUP BY user_id)
    
    SELECT
      month(reg_date)  AS reg_month,
      COUNT(DISTINCT user_id) AS users
    FROM regs
    GROUP BY reg_month
    ORDER BY reg_month ASC;

但是,当我在之前的 sql 查询中添加另一个 CTE 时,它会返回一个错误(我在 sql server 中测试了这个块,它工作正常)。我无法弄清楚为什么不在 spark databricks 中工作。

%sql

WITH regs AS (
  SELECT
    user_id,
    MIN(data_date) AS reg_date
  FROM df2
  GROUP BY user_id
  ),

  regs_per_month AS (
    SELECT
      month(reg_date) AS reg_month,
      COUNT(DISTINCT user_id) AS users
    FROM regs
    GROUP BY reg_month
  )

SELECT
  reg_month,
  users,
  LAG(users, 1) OVER (ORDER BY regs_per_month ASC) AS previous_users
FROM regs_per_month
ORDER BY reg_month ASC;

这是错误信息

Error in SQL statement: AnalysisException: cannot resolve '`regs_per_month`' given input columns: [regs_per_month.reg_month, regs_per_month.users]; line 20 pos 31;
'Sort ['reg_month ASC NULLS FIRST], true

【问题讨论】:

需要另一个 WITH 吗? 我也尝试了另一个 WITH 但没有奏效。正如我所说,当前脚本将在 sql server 上运行而不会出错 无法解决,我今晚看看 您的 ...(ORDER BY regs_per_month ASC)... 引用了一个未出现在 CTE regs_per_month 中的 regs_per_month 【参考方案1】:

您可以在 Spark SQL 中简单地使用逗号嵌套公用表表达式 (CTE),例如

%sql
;WITH regs AS (
SELECT
  user_id,
  MIN(data_date) AS reg_date
FROM df2
GROUP BY user_id
),
regs_per_month AS (
SELECT
  month(reg_date) AS reg_month,
  COUNT(DISTINCT user_id) AS users
FROM regs
GROUP BY reg_month
)
SELECT
  reg_month,
  users,
  LAG(users, 1) OVER (ORDER BY reg_month ASC) AS previous_users
FROM regs_per_month
ORDER BY reg_month ASC;

我的结果:

如前所述,您的LAG 语句应引用reg_month 列,而不是regs_per_month CTE。

作为嵌套 CTE 的另一种方法,您可以使用多个 WITH 语句,例如

%sql
;WITH regs_per_month AS ( 
  WITH regs AS ( 
  SELECT
    user_id,
    MIN(data_date) AS reg_date
  FROM df2
  GROUP BY user_id
  )
  SELECT 
    month(reg_date) AS reg_month,
    COUNT(DISTINCT user_id) AS users
  FROM regs
  GROUP BY reg_month
)
SELECT 
  reg_month, 
  users,
  LAG( users, 1 ) OVER ( ORDER BY reg_month ASC ) AS previous_users
FROM regs_per_month
ORDER BY reg_month ASC;

【讨论】:

以上是关于Databricks 和 Spark 中的公用表表达式 (CTE)的主要内容,如果未能解决你的问题,请参考以下文章

sql server中的临时表表变量和公用表表达式

Databricks 中的 Spark 版本

如何计算 Spark SQL(Databricks)中表中的列数?

Databricks/Spark SQL 中的反透视表

如何从 spark sql databricks 中的临时视图或等效视图中删除?

使用多列更新 Apache Spark / Databricks 中的表