用于合并数组的 Hive 聚合函数

Posted 2023-04-13

【中文标题】用于合并数组的 Hive 聚合函数

【英文标题】：Hive Aggregate function for merging arrays

【发布时间】：2018-01-09 23:14:11

【问题描述】：

我需要在 HiveSQL 的 GROUP BY 中合并数组。表架构是这样的：

key int,
value ARRAY<int>

现在这是我要运行的 SQL：

SELECT key, array_merge(value)
FROM table_above
GROUP BY key

如果这个array_merge函数只保留唯一值，那就更好了，但不是必须的。

干杯， 克

【参考方案1】：

没有 UDAF 可以执行这种操作。以下查询应该会产生相同的结果，而无需太多开销（继续运行一个 map 和一个 reduce 操作）删除重复项

select key, collect_set(explodedvalue) from (
  select key, explodedvalue from table_above lateral view explode(value) e as explodedvalue
) t group by key;

【参考方案2】：

这里有一段时间的答案，但以防其他人偶然发现这个； Brickhouse 的 combine_unique udf 可能是您正在寻找的东西（repo 有关于如何开始使用他们的 UDF 的说明）。

语法与问题中提出的相同：

SELECT key, combine_unique(value)
FROM table_above
GROUP BY key