kafka的简介

Posted 2022-08-06 yezihan

1.kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。

1.1 broker：安装了kafka服务的机器称之为broker

1.2 topic（主题）:是用来存放消息，也可以做消息分类

      一个topic实际是由多个partition组成的

1.3 producer：生产者，向topic中生产数据。生产者可以是java客户端、flume等

1.4 consumer：消费者，从topic中拿取数据。消费者可以是java客户端、spark streaming等