如何提高具有数组列的 DataFrame 的 Spark SQL 查询性能？

Posted 2023-04-15

【中文标题】如何提高具有数组列的 DataFrame 的 Spark SQL 查询性能？

【英文标题】：How to improve Spark SQL query performance over DataFrame that has array columns?

【发布时间】：2019-12-25 05:49:00

【问题描述】：

假设我有两个数据框df1 和df2，它们有很多数组类型的列。一些列可以有null 值。

df1.createOrReplaceTempView("temp1")
df2.createOrReplaceTempView("temp2")

我正在使用LATERAL VIEW EXPLODE 来展平数组类型列。以下是我用来查询数据帧的示例 Spark SQL 语句。由于LATERAL VIEW EXPLODE，此查询似乎存在性能问题。

SELECT tab1.id AS country, tab2.city_lve AS city FROM
(SELECT id, language_lve, population_lve FROM temp1
LATERAL VIEW EXPLODE(language) EXPLODED_NAMES AS language_lve
LATERAL VIEW EXPLODE(population) EXPLODED_NAMES AS population_lve
WHERE language_lve IS NOT NULL AND population_lve IS NOT NULL)
AS tab1
JOIN
(SELECT id, city_lve, link_lve FROM temp2
LATERAL VIEW EXPLODE(city) EXPLODED_NAMES AS city_lve
LATERAL VIEW EXPLODE(link) EXPLODED_NAMES AS link_lve
WHERE city_lve IS NOT NULL AND link_lve IS NOT NULL)
AS tab2 ON (tab2.link_lve = tab1.language_lve)

是否有任何高效的 Spark SQL 语句来查询数据帧？

【参考方案1】：

Explode会解决你的问题

以下是使用它的不同问题的示例

https://***.com/a/44418598/1461187

【讨论】：

我已经在我的 Spark SQL 语句中使用了Explode。我正在寻找更好的解决方案。