kafka术语

Posted 2021-03-08 xiaohan970121

kafka broker：运行kafka server的服务被称为broker,它主要用于接手topic消息，管理topic,持久化和存储topic数据，kafka审计，kafka权限管理等。

topic:消息主题，每个topic唯一，可存储和传输数据。(MQ中通常有Topic和Queue 2中消息传输方式,topic:发布/订阅（publish/subscribe，简称pub/sub）Topic消息传递模型,支持一条消息发送多个消费组/消费者;queue：点对点（point-to-point，简称PTP）Queue消息传递模型,一条消息仅支持一个消费者消费)；kafka仅支持topic模式。

topic partition：topic 分区个数，可将topic数据进行分割，如果topic分为3，则每个topic partition消息均分topic中的消息，并可进行负载。

topic replication：topic复制副本个数，用于解决数据丢失，单点问题，并发问题。

producer：消息生产者，将消息push到指定topic，消息可以使txt文本(每行一条),文件，序列化对象。

consumer：消息消费者，将消息从指定topic中pull到客户端中，消息可以使txt文本或二进制数据流(可反序列化为文件或对象)。

consumer goup：消费者组，同一个消费者组不重复消费消息，可用于将不同用途consumer进行编组。(因此如果更改为新消费组名称，则讲会重新将kafka中存在的消息全部pull,因此不要轻易变更consumer group哦)