使用复合键对数据集进行聚合

Posted 2023-04-13

【中文标题】使用复合键对数据集进行聚合

【英文标题】：Aggregation on a Dataset with composite keys

【发布时间】：2017-07-14 19:11:09

【问题描述】：

我的输入数据集看起来像 ds[(T, U)]。其中 T 和 U 都如下所示。

T => (key1, key2, ...) and U => (value1, value2, ...)

聚合看起来像

ds.groupBy("key1", "key2", ...)
      .agg(
        sum("value1")).alias("value11"),
        sum("value2")).alias("value22"),
        ...
      .select("key1", "key2", ..., "value11", "value22", "fileId", ...)

这是最终输出。 有没有更好的方法通过使用 groupByKey/reduceGroups 或其他在性能方面实现相同的输出？

inout 数据集是通过处理行生成的。我们在一行中嵌套了对象，我们循环遍历以从每一行中提取键和值。将这两个过程结合在一起的有效方法是什么？自定义 UDAF 是否更适合这种情况？

【参考方案1】：

就性能而言，这是最好的。使用静态类型的 Dataset 和 groupByKey / reduceGroups 只会降低性能，或者最多不会提供任何改进。

【讨论】：

感谢您的评论。您对使用 UDAF 有何看法？这种场景适合 udaf 吗？