kafka简介(三):kafka架构图

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka简介(三):kafka架构图相关的知识,希望对你有一定的参考价值。

参考技术A 从上一章节我们总结了相关概念,其实在kafka架构图中可以直观的看到这些相关的概念,具体如下图:

从上图中我们先来分析相关概念:

Producer即生产者,消息的产生者,是消息的入口。

Broker是kafka实例,每个服务器上有一个或多个kafka的实例,我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号,如图中的broker-0、broker-1等……

消息的主题,可以理解为消息的分类,kafka的数据就保存在topic。在每个broker上都可以创建多个topic。

Topic的分区,每个topic可以有多个分区,分区的作用是做负载,提高kafka的吞吐量。同一个topic在不同的分区的数据是不重复的,partition的表现形式就是一个一个的文件夹!

每一个分区都有多个副本,副本的作用是做备胎。当主分区(Leader)故障的时候会选择一个备胎(Follower)上位,成为Leader。在kafka中默认副本的最大数量是10个,且副本的数量不能大于Broker的数量,follower和leader绝对是在不同的机器,同一机器对同一个分区也只可能存放一个副本(包括自己)。

每一条发送的消息主体。

消费者,即消息的消费方,是消息的出口。

我们可以将多个消费组组成一个消费者组,在kafka的设计中同一个分区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个topic的不同分区的数据,这也是为了提高kafka的吞吐量!

kafka集群依赖zookeeper来保存集群的的元信息,来保证系统的可用性。

  在新出来的2.8.0版本中已经可以不使用zookeeper直接启动kafka了。下一节总结一下新版本如何不是。

以上是关于kafka简介(三):kafka架构图的主要内容,如果未能解决你的问题,请参考以下文章

Kafka简介

Kafka 架构和原理机制 (图文全面详解)

解开Kafka神秘的面纱:kafka架构与应用场景

Kafka架构简介

Kafka架构设计简介

Kafka 的简介与架构