Flink 窗口处理函数 WindowFunction
Posted @SmartSi
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 窗口处理函数 WindowFunction相关的知识,希望对你有一定的参考价值。
传送门:Flink 系统性学习笔记
在之前的文章中我们已经了解了 Flink 的窗口机制,并介绍了其中涉及的组件:WindowAssigner、WindowFunction、Trigger、Evictor。在 Flink 窗口分配器 WindowAssigner 中我们知道可以通过不同类型的窗口分配器 WindowAssigner 将元素分配到窗口中。在指定 WindowAssigner 后,需要在每个窗口上指定我们要执行的计算逻辑,这就是窗口函数(WindowFunction)的责任。一旦系统确定窗口准备好处理数据,窗口函数就会被调用来处理窗口中的每个元素。
按照窗口计算原理划分,可用于处理窗口数据的函数有两种:
- 增量聚合函数:增量聚合函数在窗口内以状态形式存储某个值,每个新加入的窗口的元素对该值进行更新,即窗口中只维护中间结果的状态值,不需要缓存原始数据。这种函数计算性能高,占有存储空间少,因为 Flink 可以在每个元素到达窗口时增量地进行聚合。代表函数有 ReduceFunction,AggregateFunction。
- 全量窗口函数:全量窗口函数对属于该窗口的元素全部进行缓存,只有等到窗口触发的时候,才对所
以上是关于Flink 窗口处理函数 WindowFunction的主要内容,如果未能解决你的问题,请参考以下文章
Flink 窗口函数处理数据(Watermark和SideOutput)