Flink 图解 Watermark

Posted @SmartSi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 图解 Watermark相关的知识,希望对你有一定的参考价值。

传送门:Flink 系统性学习笔记


如果你正在构建实时流处理应用程序,那么基于事件时间处理是你今后可能必须使用的其中一个功能。因为在现实世界的大多数用例中,消息都是无序到达的,应该有一些方法,通过你建立的系统知道消息可能延迟到达,并且有相应的处理方案。在这篇博文中,我们将看到为什么我们需要事件时间处理,以及我们如何在 Flink 中使用它。

事件时间(EventTime)是事件在现实世界中发生的时间,处理时间(ProcessingTime) 是 Flink 系统处理该事件的时间。要了解事件时间处理的重要性,我们要首先建立一个基于处理时间的系统,看看它有什么样的缺点。

事件时间与处理时间,具体查阅Flink 事件时间与处理时间

我们创建一个大小为10秒的滑动窗口,每5秒滑动一次,在窗口结束时,系统将发送在此期间收到的消息数。一旦了解了事件时间处理在滑动窗口是如何工作,那么了解在滚动窗口中是如何工作的也就不是难事了。

1. 基于处理时间的系统

在这个例子中,我们的消息具有一定格式:value,timestamp,value 表示消息的内容,timestamp 表示消息在数据源产生时的时间。由于我们正在构建的是基于

以上是关于Flink 图解 Watermark的主要内容,如果未能解决你的问题,请参考以下文章

大数据(9e)图解Flink窗口

大数据(9e)图解Flink窗口

大数据(9e)图解Flink窗口

Flink Watermark 机制

Flink Watermark 机制

Flink 轻松理解 Watermark