apache Flink初探

Posted 2021-04-13 二进制傻瓜

        Flink 是一个高性能、高可用的批流一体的分布式大数据计算引擎，在数据流上提供数据分发、通信、具备容错能力的分布式计算功能。Flink以流计算为基础、提供了sql、复杂事件处理cep、机器学习、图计算等高阶数据处理场景。

Flink的核心特点

        批流一体：Flink提供精确的时间控制能力和有状态计算的机制、让它可以轻松应对任何类型的无界数据流，同时flink还专门设计了算法和数据结构来处理有界数据来应对批处理问题。

        高可靠的容错能力：通过Yarn、mesos、k8s等集群管理器集成，Flink可以提供集群级别的高容错能力；与zookeeper配合，可以消除所有的集群单点故障；Flink使用轻量级的分布式快照机制，通过checkpoint机制，保障应用程序状态的一致性，即使出现故障，也能保障所有数据精准计算一次。

        高延迟、低吞吐：Flink在数据的计算、传输、序列化等方面做了大量的优化，既能保障数据处理的低延迟（毫秒级），也能尽可能提高吞吐量(TB级）。