通过 Spark SQL 实现 `collect_list`

Posted 2023-04-15

【中文标题】通过 Spark SQL 实现 `collect_list`

【英文标题】：Implement `collect_list` via Spark SQL

【发布时间】：2020-03-27 09:59:40

【问题描述】：

我正在尝试实现collect_list 函数是Spark.SQL。 通过数据框在 PySpark 中执行此操作的方法是 here

我正在尝试通过 SQL 查询来做同样的事情。

【问题讨论】：

spark.sql("select collect_list(col) from test group by col")

【参考方案1】：

它与 pyspark 或 Spark 与 Scala 关系不大。

试试这个：

SELECT c1, collect_list(struct(c2, c3)) FROM tempview/table GROUP BY c1

或根据您的要求进行更改。