Flink DataStream Split 实现分流

Posted @SmartSi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink DataStream Split 实现分流相关的知识,希望对你有一定的参考价值。

传送门:Flink 系统性学习笔记


在 Flink 1.12.0 版本中进行了删除

所谓分流,就是将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个 DataStream 拆分成多个完全平等的子 DataStream。一般来说,我们会定义一些筛选条件,将符合条件的数据拣选出来放到对应的流里。

使用 Split 实现分流需要在 split 算子中定义 OutputSelector,然后重写其中的 select 方法,将不同类型的数据进行标记,最后对返回的 SplitStream 使用 select 方法将对应的数据选择出来。如下所示将输入流拆分为奇数流和偶数流两个子数据流:

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment()

以上是关于Flink DataStream Split 实现分流的主要内容,如果未能解决你的问题,请参考以下文章

Flink DataStream 侧输出流 Side Output

Flink DataStream 侧输出流 Side Output

Flink 源码解读

Flink 源码解读

Flink 源码解读

4.Flink入门案例前置说明准备环境代码实现-DataSet-了解DataStream--匿名内部类--处理批DataStream-匿名内部类-处理流LambdaOn-Yarn-掌握