从0到1Flink的成长之路(十七)-高级特性(Flink四大基石)

Posted 熊老二-

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了从0到1Flink的成长之路(十七)-高级特性(Flink四大基石)相关的知识,希望对你有一定的参考价值。

Flink 高级特性(一)

1. Flink 四大基石

Flink之所以能这么流行,离不开它最重要的四个基石:CheckpointStateTimeWindow
在这里插入图片描述
Checkpoint
Flink最重要的一个特性,Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快
照,从而提供了一致性的语义。
Chandy-Lamport算法实际上在1985年的时候已经被提出来,但并没有被很广泛的应用,
而Flink则把这个算法发扬光大了。
checkpoint
State
提供了一致性的语义之后,Flink为了让用户在编程时能够更轻松、更容易地去管理状态,
还提供了一套非常简单明了的State API,包括ValueState、ListState、MapState,
BroadcastState。
state
Time
除此之外,Flink还实现了Watermark的机制,能够支持基于事件时间的处理,能够容忍迟
到/乱序的数据。
time
Window
另外流计算中一般在对流数据进行操作之前都会先进行开窗,即基于一个什么样的窗口上
做这个计算。Flink提供了开箱即用的各种窗口,比如滑动窗口、滚动窗口、会话窗口以及
非常灵活的自定义的窗口。
window

以上是关于从0到1Flink的成长之路(十七)-高级特性(Flink四大基石)的主要内容,如果未能解决你的问题,请参考以下文章

从0到1Flink的成长之路(二十)-Flink 高级特性之状态分类

从0到1Flink的成长之路(二十)-Flink 高级特性之状态恢复和重启策略

从0到1Flink的成长之路(二十)-Flink 高级特性之Flink 状态管理

从0到1Flink的成长之路(二十)-Flink 高级特性之 Flink 容错机制

从0到1Flink的成长之路(二十)-Flink 高级特性之Savepoint

从0到1Flink的成长之路(二十)-Flink 高级特性之自动重启策略和恢复