FlinkFlink kafka Spark 如何实现数据有序性

Posted 2021-05-24 九师兄

文章目录

• 1.概述
• 2.笨方法
• 3. 生产端有序
• 3. 处理端有序

1.概述

是这这样的。当初有个面试题，说怎么保证数据有序性。记得当初没有经验。然后就用了最笨的方法。

有趣的是，我老大工作五六年了，也是这样想的，没有想到好方法，我们用的是笨的方法。

以前老崇拜老大了，觉得很牛逼，现在发现，其实就是自己不知道，当我知道了没发现也没有那么神秘，而且想出来更多的方法了。

2.笨方法

最笨的方法是,kafka一个分区，FLink一个并行度，Spark一个并行度

这个首先得局限性是

1. 分区数固定
2. flink并行度固定
3. 资源运行不足
4. 无法支持大数据量