Flink Iceberg Source 并行度推断源码解析

Posted zhisheng_blog

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink Iceberg Source 并行度推断源码解析相关的知识,希望对你有一定的参考价值。

Flink Hive Source 并行度推断源码解析

批读 Iceberg

Iceberg 提供了两个配置:

public static final ConfigOption<Boolean> TABLE_EXEC_ICEBERG_INFER_SOURCE_PARALLELISM =
  ConfigOptions.key("table.exec.iceberg.infer-source-parallelism")
      .booleanType()
      .defaultValue(true)
      .withDescription("If is false, parallelism of source are set by config.\\n" +
          "If is true, source parallelism is inferred according to splits number.\\n");

public static final ConfigOption<Integer> TABLE_EXEC_ICEBERG_INFER_SOURCE_PARALLELISM_MAX =
  ConfigOptions.key("table.exec.iceberg.infer-source-parallelism.max")
      .intType()
      .defaultValue(100)
      .withDescription("Sets max infer parallelism for source operator.");
  • table.exec.iceberg.infer-source-parallelism:默认是 true,意味着 source 的并

以上是关于Flink Iceberg Source 并行度推断源码解析的主要内容,如果未能解决你的问题,请参考以下文章

iceberg flink 读操作

iceberg flink 读操作

iceberg flink 读操作

iceberg flink 读操作

Flink自定义非并行的Source,即Source的并行度只为1

使Flink SQL Kafka Source支持独立设置并行度