几分钟明白Flink水位线
Posted 每日小新
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了几分钟明白Flink水位线相关的知识，希望对你有一定的参考价值。
Flink水位线
1、Flink中不同的事件概念
- Processing time（处理时间）： 即事件被机器处理的时间，事件流向某个算子的系统时间
- Event Time(事件时间）： 事件时间是再某个生产设备上发生时间，指事件进入Flink之前嵌入的时间，通常可以从事件中获取一个时间戳，此时间戳可以用来得出水位线，进而解决延迟，乱序，重发等情况
- Ingestion time(摄入时间）： 摄入时间即是事件进入Flink的时间，是在Source Operator中设置的。
2、WaterMark(水位线)
水位线，首先水位线的主要作用是解决数据的延迟和乱序问题，水位线到底是什么？水位线其实可以理解是一个特俗的数据，用来延迟窗口的触发（此处指的窗口每个相互独立），具体情况，下图说明。
假设场景，比如说上学校车，校车每天早上九点发车，但有一部分学生可能九点零二才能赶来，于是小明偷偷把司机的时间调后了两秒，这样当时间到了九点（延后两秒的九点）大家都能上车了。
初学者：疑难点（误区）
- ① 水位线如何得出？
水位线公式：watermark=当前最大事件时间-延迟时间,此公式最后的结果水位线其实代表了前多少个数据已经到齐了，每个数据进入，都会抽取数据的时间戳（事务时间）来生成一个水位线- ② 事件时间和数据容易分不清（或者混为一谈）
上面有讲事件时间，开始数据可能是有序的，但经过并行的处理过程中，数据难免会乱序，图中很容易看出
③ 窗口的大小并不代表窗口处理几条数据
窗口大小两种要么是根据时间，要么根据处理数据个数，视情而定，不要搞混。
④ 窗口5s秒的理解
窗口五秒大小范围是【0，5）。
3、WaterMark的迟到数据
现实中很难生成一个完美的水位线，水位线就是在延迟与准确性之前做的一种权衡。那么，如果生成的水位线过于紧迫，即水位线可能会大于后来数据的时间戳，这就意味着数据有延迟，关于延迟数据的处理，Flink提供了一些机制，具体如下：
- ① 直接将迟到的数据丢弃
- ② 将迟到的数据输出到单独的数据流中，即使用sideOutputLateData(newOutputTag<>()）实现侧输出
- ③ 根据迟到的事件更新并发出结果
其实就是水位线不一定能解决全部延迟数据，主要是处理毫秒内的数据延迟，延迟过大的数据会有剩余方案进行处理~
- 若还有别的疑问欢迎留言~🤗，有说错之处还请指出🤨
以上是关于几分钟明白Flink水位线的主要内容，如果未能解决你的问题，请参考以下文章