Flink Hive Source 并行度推断源码解析
Posted zhisheng_blog
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Flink Hive Source 并行度推断源码解析相关的知识，希望对你有一定的参考价值。
批读 Hive
HiveOptions 中有两个配置
public static final ConfigOption<Boolean> TABLE_EXEC_HIVE_INFER_SOURCE_PARALLELISM =
key("table.exec.hive.infer-source-parallelism")
.defaultValue(true)
.withDescription(
"If is false, parallelism of source are set by config.\\n" +
"If is true, source parallelism is inferred according to splits number.\\n");
public static final ConfigOption<Integer> TABLE_EXEC_HIVE_INFER_SOURCE_PARALLELISM_MAX =
key("table.exec.hive.infer-source-parallelism.max")
.defaultValue(1000)
.withDescription("Sets max infer parallelism for source operator.");-
table.exec.hive.infer-source-parallelism：默认值是 true，表示 source 的并行度是根据数据分区数和文件数推断的，如果设置为 false 的话表示并行度是以配置的为准
以上是关于Flink Hive Source 并行度推断源码解析的主要内容，如果未能解决你的问题，请参考以下文章
Flink Iceberg Source 并行度推断源码解析
Flink自定义非并行的Source，即Source的并行度只为1