Streamset读取kafka数据写入kafka
Posted 摸摸稀疏的头发
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Streamset读取kafka数据写入kafka相关的知识，希望对你有一定的参考价值。
Streamsets读取kafka数据写入另一个kafka
创建新的streamset流
- 1、点击创建新的streamset流
- 2、填写标题、简介等信息
- 3、进入创建好的页面
- 4、点击右侧的选项选择kafka consume
- 5、设置kafka参数
Earliset：设置新的groupid从最早的数据开始消费，消费一批数据后会更新groupid
Latest：从最新的数据开始消费
Timestamp：指定时间戳进行消费
- 6、添加新的kafka produce
- 7、设置日志格式，然后将两个组件进行连接，启动streamsets
以上是关于Streamset读取kafka数据写入kafka的主要内容，如果未能解决你的问题，请参考以下文章
数据湖（十九）：SQL API 读取Kafka数据实时写入Iceberg表
Spark Streaming - 从Kafka读取json并将json写入其他Kafka主题