Flink实战系列Flink 消费多个 topic 的数据根据不同 topic 数据做不同的处理逻辑

Posted 2021-06-27 JasonLee-后厂村程序员

Flink 消费多个 topic 的数据根据不同 topic 数据做不同的处理逻辑

需求

有的时候我们需要消费同一个 kafka 集群的多个 topic 数据,然后可能会根据不同 topic 的数据做不同的处理逻辑.可能还需要获取到 topic 的元数据信息比如 offset ,timestamp 等.

分析

其实对于这个需求来说实现的方式有很多种,比如你可以消费两个 topic 的数据,然后做一个 union 操作,然后可以用 filter 来过滤不同 topic 的数据做不同的处理,但是这种方式并不是最优解,那更合理的方式是直接消费多个 topic 的数据,并且获取到 kafka 的元数据信息,然后用测流输出的方式去处理不同 topic 的数据.这样是最简单也是性能最好的.

实现

首先,Flink 本身就是支持消费多个 topic 数据的,然后我们自定义一个反序列化类去实现 KafkaDeserializationSchema 接口就可以拿到元数据的信息.

package flink.utils;

import org.apache.flink.a