Spark Structured Streaming中是不是有与reduceByKeyAndWindow等价的东西？

Posted 2023-04-18

【中文标题】Spark Structured Streaming中是不是有与reduceByKeyAndWindow等价的东西？

【英文标题】：Is there any equivalent to reduceByKeyAndWindow in Spark Structured Streaming?Spark Structured Streaming中是否有与reduceByKeyAndWindow等价的东西？

【发布时间】：2018-04-13 16:40:43

【问题描述】：

想利用 Spark 的结构化流式处理功能，但我需要在窗口中按键进行减少。 Basic Spark Streaming 支持一种称为reduceByKeyAndWindow 的方法。我对 Spark Structured Streaming 文档进行了大量搜索，但没有找到任何与 Spark Streaming 的 reduceByKeyAndWindow 等效的内容。

是否有任何结构化流操作的组合可以让我在窗口中通过键进行缩减？

【问题讨论】：

也许这对你有帮助：spark.apache.org/docs/latest/…

【参考方案1】：

在结构化流式传输术语中，ReduceByKeyAndWindow 将是具有复合键的窗口聚合。 比如：

stream.groupBy($"key", window($"timestamp", "5 minutes"))
       .agg(sum($"value") as "total")

聚合可以是任何受支持的 SQL 函数。