FlinkFlink 小知识点 Flink 同时 保存 offset 到backend 和 kafka 内置 topic

Posted 2021-09-08 九师兄

1.概述

在FLink官网中有一点，Kafka Consumers Offset Committing Behaviour Configuration #

这里如下

Flink Kafka Consumer允许配置如何将偏移量提交回Kafka broker的行为。注意，Flink Kafka消费者并不依赖于提交的偏移量来保证容错。承诺的补偿只是一种为了监控目的而暴露消费者进展的手段（可见将消费信息写入到kafka内置topic是为了便于监控，这一点我以前是傻傻的看消费组状态，时常获取不到消费组信息）。

配置偏移提交行为的方法是不同的，这取决于作业是否启用了检