FlinkForward Berlin 2017--From Apache Flink 1.3 to 1.4

Posted 2021-04-13 Flink

本文来自data Artisans的Till Rohrmann在今年9月举行的FlinkForward上的演讲，data Artisans是Apache Flink的母公司，主导着Flink开源社区的发展。

演讲内容根据Flink目前的版本1.3来划界，讲了1.3之前API、状态的演变；分享了即将到来的1.4版本的特性以及1.5版本的设想。

1.0中最重要的特性就是状态API，包括ValueState、ListState以及ReducingState，并支持将状态保存到RocksDB中；到了1.1开始引入session window以及allowedLateness等丰富的窗口机制，并实现了基于RocksDB的完全异步的快照机制；1.2中引入了low level API--process function，允许用户细粒度的控制窗口中的状态、触发器等，并根据状态类型实现了不同的扩容策略；到了1.3开始支持side output，进一步细化了对late element的处理，并增加了增量检查点机制。

增量检查点的好处是显而易见的，除了每个检查点的时间会大大缩短外，产生的快照大小也是大大减少。

除此之外，Flink对于Table API和CEP也进行了很大的完善。

即将到来的1.4版本，Flink通过Event driven IO对高吞吐和低延迟之间的平衡做了优化，并且对于背压的处理，也做到了某一个线程引起的背压不再影响到其他线程。还有就是对于不同部署方式的支持以及对于kafka 0.11版本，producer也做到exactly once语义的处理；1.4版本中也将实现动态扩容机制。

1.5之后的版本还处于规划中，但是有个亮点是状态复制的功能。每个TaskManager的状态可以实现复制，这将使得job失败时的恢复更加高效。同时，用户也可以在程序中控制类似于保存点的功能等。

最后值得关注的是data Artisans编写的书籍《Stream Processing with Apache Flink》，这本书目前还在进行中，可以想象一定是一本非常权威的介绍Apache Flink的书籍了。

本次演讲粗略看来共有38个，我们只会选择其中一部分来分享。另外视频全部来自Youtube，之前考虑通过一些手段下载到国内可访问的网络上，但是目前看来比较困难，各位想看的话还需翻墙，当然也不排除未来录屏分享的可能。

Till RohrmanTill Roh