Flink实战系列Flink SQL 写入 kafka 自定义分区策略
Posted JasonLee-后厂村程序员
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Flink实战系列Flink SQL 写入 kafka 自定义分区策略相关的知识，希望对你有一定的参考价值。
Flink SQL 写入 kafka 自定义分区策略
当用 Flink SQL 写入 kafka 的时候如何指定分区策略呢？其实 Flink SQL 本身是提供有 sink.partitioner 参数的，详细可以查看官网 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/connectors/table/kafka/#sink-partitioner
| sink.partitioner | optional | ‘default’ | String | Output partitioning from Flink’s partitions into Kafka’s partitions. Valid values aredefault: use the kafka default partitioner to partition records.fixed: each Flink partition ends up in at most one Kafka partition.round-robin: a Flink partition is distributed to Kafka partitions sticky round-robin. It only works when record’s keys are not specified.Custom FlinkKafkaPartitioner subclass: e.g. \'org.mycompany.MyPartitioner\'.See the following |
|---|
以上是关于Flink实战系列Flink SQL 写入 kafka 自定义分区策略的主要内容，如果未能解决你的问题，请参考以下文章
Flink实战系列Flink使用StreamingFileSink写入HDFS（parquet格式snappy压缩）
Flink实战系列Flink SQL 实时同步数据到 Hive
Flink实战系列Flink SQL 如何实现 count window 功能?
Flink 实战系列Flink SQL 实时同步 Kafka 数据到 Hudi（parquet + snappy）