如何用Know Streaming来查询Kafka的消息
Posted 石臻臻的杂货铺
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何用Know Streaming来查询Kafka的消息相关的知识，希望对你有一定的参考价值。
功能简介
Kafka的消息查看功能算是一个呼声比较高的需求了。但是它目前还并不能像RocketMq那样比较友好的对消息做一些复杂查询操作。
目前KnowStreaming的实现方式是使用Consumer客户端来拉取数据
操作流程
①. Topic列表 - > Topic详情 -> Messages
操作亮点
多维度过滤查询
-
选择offset类型： latest(最近) | earliest (最早)
-
选择指定分区
-
指定Key / Value
数据截断
实现原理
构建KafkaConsumer客户端，调用KafkaAdminClient请求获取数据。
Know Streaming介绍
Know Streaming脱胎于互联网公司内部多年的Kafka运营实践经验，通过0侵入、插件化构建企业级Kafka服务，极大降低操作、存储和管理实时流数据门槛
不会对Apache Kafka做侵入性改造，就可纳管0.10.x-3.x集群版本，帮助您提升集群管理水平；我们屏蔽了流处理的复杂性，让普通运维人员都能成为流处理专家
以上是关于如何用Know Streaming来查询Kafka的消息的主要内容，如果未能解决你的问题，请参考以下文章
Spark Streaming：Spark Structured Streaming 中不允许使用 Kafka 组 ID