Flink 如何指定并发

Posted @SmartSi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 如何指定并发相关的知识,希望对你有一定的参考价值。

提示:Flink 系统性学习笔记


目录


Flink 1.11

本节介绍如何在 Flink 中配置程序并发执行。一个 Flink 程序由多个 Task (transformations/operators,data sources 以及 sinks)组成。一个 Task 可以分成多个并发实例来执行,每个并发实例只处理输入数据的一个子集。一个 Task 的并发实例的个数称为并发度(parallelism)。

1. 设置并发度

在 Flink 中一个 Task 的并发度可以指定不同级别。

1.1 算子级别

单个算子,Source,Sink 都可以通过调用 setParallelism() 方法来指定并发度。如下代码所示指定算子级别的并发度

以上是关于Flink 如何指定并发的主要内容,如果未能解决你的问题,请参考以下文章

Flink 系统性学习笔记系列

Flink 如何解析与传递参数

Flink 如何解析与传递参数

flink 并行度

Flink CDC 如何从指定位置拉取消息

flink调优_yarn动态分配cpu资源