oreilly《Flink基础教程》读后感一

Posted 2021-01-17 geektcp

这本书是目前市面上唯一的一本关于flink的中文书。

作者是flink的创始团队的核心成员弗里德曼，翻译者是阿里巴巴的员工王邵翔。

这本书没有将flink的原理，API，具体用法等等，而是讲fink的使用场景、架构、用途，优势。应该说是非常适合入门和调研的一本书。

书很薄，但我觉得很值。

• 一、第一章 为何选择Flink

这章主要介绍Flink的使用场景，作为第四代大数据计算引擎，Flink具有很多优良的特性。基于同一组件和语义，既支持批处理又支持流处理。这点和spark有明显区别。

我觉得在未来，Flink会替代spark。

• 二、第二章 流处理架构

Flink的强项就是流处理。一切皆流。要真正使用Flink，必须依赖一个核心组件：分布式消息队列。

目前主流、高性能、大数据业务的消息队列只有Kafka和MapR steam，前者我已经用了三年了。后者在API和基本使用方面复用了Kakka的接口，核心部分的实现原理不太一样。

既支持批处理，又支持流处理。

• 三、第三章 Flink的用途

Flink可以解决分布式数据库一致性问题，也能很好的处理需要低延迟的大数据计算挖掘分析应用。

Flink并没有像spark那样把所有数据一股脑放到内存里面，而是巧妙的把部分核心数据放到内存里面。多线程是大量使用到。1.6版Flink，节点间通信使用的是netty和akka

 

• 四、第四章 对时间的处理

在窗口处理方面，Flink比起spark streamming更加优越。

Flink的流式计算窗口是基于事件的，也支持时间。而spark streaming是基于时间的，这回导致一系列的性能问题。

 

目前看到这，还有很多原理细节需要理一理。