Flink实战系列Flink SQL 如何实现 count window 功能?

Posted 2021-06-30 JasonLee-后厂村程序员

Flink SQL 如何实现 count window 功能?

需求

在 Flink 里面窗口可以划分为两大类,分别是 TimeWindow 和 CountWindow.TimeWindow 是基于时间的,又可以细分为 Tumble Window, Hop Window, Session Window 这三种都是支持的,CountWindow 是基于个数的,目前在 Flink SQL 里面是不支持的,可能是因为社区觉得 CountWindow 使用场景不是很多吧.那如果我们现在需要批量写第三方存储这个时候可能就需要用到类似 CountWindow 的功能,今天就来介绍一下应该如何实现?

分析

其实 CountWindow 的功能之前实现过 https://blog.csdn.net/xianpanjia4616/article/details/113035704 在 datastream api 里面用 flatmap 去实现的,那在 SQL 里面我们可以用 UDTF 的方式实现类似于 flatmap 的功能从而实现 CountWindow 功能.

实现

UDTF

package flink.udtf;

import org.apache.flink