Kafka基础概念整理

Posted 2021-05-02 大数据123

kafka介绍

kafka是一个分布式的、可分区的、可复制的消息系统；但它并不是基于JMS规范实现的。

kafka真正定位是一个日志系统，消息队列只是其一个应用模式。

JMS消息类型

在JMS规范中，消息通常有两种类型：

• 通过序列(queue)进行消息的点对点通讯(point-to-point)

• 通过主题(topic)进行消息的发布/订阅(publish/subscribe)

JMS 点对点

JMS 发布/订阅

kafka消息类型

kafka并没有遵循JMS规范，它只提供了发布和订阅的通讯方式。

如果需要点对点的话，对应主题(topic)你只指定一个订阅者就可以实现了，类型少了一个，感觉更好理解了。

kafka核心关键词

• 主题(topic)：

  你设定的消息主题；

• 生产者(producer)：

  用于往Broker中发送/生产Message；

• 消费者(consumer)：

  Kafka中使用Broker来接受Producer和Consumer的请求；

• 消费组(consumer group)：

  用于将消费者分组；

• 代理(broker)：

  用于接收生产者和消费者的请求；

• 分区(partition)：

  用于保存消息，将一个topic拆分为多个partition可以大幅提高kafka的吞吐量；

kafka 发布/订阅

补充说明：

“消费组”的概念，不太好理解的是，简单在说下

• 一个“主题”内的消息，可用被多个不同的“消费组”消费；

• 一个“主题”可以拆分为多个“分区”，任意“分区”在某一个时刻只能被一个“消费组”内的一个“消费者”消费；

• 一个“消费者”在同一时间可用消费多个“分区”；