大数据面试重点之kafka

Posted 2022-11-03 大数据小理

大数据面试重点之kafka(四)
Kafka producer的ack设置
问过的一些公司：网易参考答案：
Kafka producer有三种ack机制，初始化producer时在config中进行配置
ack=0
意味着producer不等待broker同步完成的确认，继续发送下一条(批)信息。提供了最低的延迟。但是最弱 的持久性，当服务器发生故障时，就很可能发生数据丢失。例如leader已经死亡，producer不知情，还 会继续发送消息broker接收不到数据就会数据丢失。
ack=1
意味着producer要等待leader成功收到数据并得到确认，才发送下一条message。此选项提供了较好的持 久性较低的延迟性。Partition的Leader死亡，follwer尚未复制，数据就会丢失。
ack=-1
意味着producer得到follwer确认，才发送下一条数据，持久性最好，延时性最差。 三种机制性能递减，可靠性递增。

Kafka的ack机制，解决了什么问题？
问过的一些公司：端点数据(2021.07) 参考答案：
ack机制保证了Producer在发送的数据能可靠的到达指定的Topic，为Producer提供了消息确认机制。 生产者往Broker的Topic中发送消息时，可以通过配置来决定有几个副本收到这条消息才算消息发送成功。 可以在定义Producer时通过acks参数指定，
这个参数支持以下三种值：
ack=0
意味着producer不等待broker同步完成的确认，继续发送下一条(批)信息。提供了最低的延迟。但是最弱 的持久性，当服务器发生故障时，就很可能发生数据丢失。例如leader已经死亡，producer不知情，还 会继续发送消息broker接收不到数据就会数据丢失。
ack=1
意味着producer要等待leader成功收到数据并得到确认，才发送下一条message。此选项提供了较好的持 久性较低的延迟性。Partition的Leader死亡，follwer尚未复制，数据就会丢失。
ack=-1
意味着producer得到follwer确认，才发送下一条数据，持久性最好，延时性最差。

Kafka读取消息是推还是拉的模式？有什么好处？
可回答：Kafka为什么使用拉取消息的机制？ 问过的一些公司：流利说，触宝
参考答案：
consumer采用pull（拉）模式从broker中读取数据。
push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽 可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以 及网络拥塞。而pull模式则可以根据consumer的消费能力以适当的速率消费消息。
pull模式不足之处是，如果kafka没有数据，消费者可能会陷入循环中，一直返回空数据。针对这一点， Kafka的消费者在消费数据时会传入一个时长参数timeout，如果当前没有数据可供消费，consumer会等 待一段时间之后再返回，这段时长即为timeout。

Kafka如何实现高吞吐的原理？
可回答：1）Kafka高吞吐的原因；2）Kafka如何保证高吞吐量；3）Kafka为什么低延迟高吞吐？有哪些 特点？4）Kafka为什么高可用、高吞吐？如何保证高可用？5）Kafka高性能的实现机制？6）Kafka高性 能的原因？7）Kafka零拷贝的实现原理。8）Kafka的数据存储在磁盘但是为什么速度依旧很快？9） Kafka为什么那么快
问过的一些公司：字节，腾讯x3，蘑菇街x3，拼多多，阿里云，美团x3，小鹏汽车，京东，网易x2，快 手，猿辅导，转转，字节社招，富途，陌陌(2021.07)x2，海康(2021.08)x2
参考答案：

Kafka 是分布式消息系统，需要处理海量的消息，Kafka 的设计是把所有的消息都写入速度低容量大的硬盘，以此来换取更强的存储能力，但实际上，使用硬盘并没有带来过多的性能损失。
kafka 主要使用了以下几个方式实现了超高的吞吐率
73 顺序读写
kafka 的消息是不断追加到文件中的，这个特性使 kafka 可以充分利用磁盘的顺序读写性能，顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写
Kafka 官方给出了测试数据(Raid-5，7200rpm)： 顺序I/O：600MB/s
随机I/O：100KB/s
74 零拷贝
先简单了解下文件系统的操作流程，例如一个程序要把文件内容发送到网络。
这个程序是工作在用户空间，文件和网络socket属于硬件资源，两者之间有一个内核空间。 在操作系统内部，整个过程为：

在Linux kernel2.2之后出现了一种叫做"零拷贝(zero-copy)"系统调用机制，就是跳过“用户缓冲区”的拷贝，建立一个磁盘空间和内存的直接映射，数据不再复制到“用户态缓冲区”。
系统上下文切换减少为2次，可以提升一倍的性能

75 文件分段
kafka 的队列topic被分为了多个区partition，每个partition又分为多个段segment，所以一个队列中的消息实际上是保存在N多个片段文件中。

通过分段的方式，每次文件操作都是对一个小文件的操作，非常轻便，同时也增加了并行处理能力。
76 批量发送
Kafka 允许进行批量发送消息，先将消息缓存在内存中，然后一次请求批量发送出去，比如可以指定缓存的消息达到某个量的时候就发出去，或者缓存了固定的时间后就发送出去，如100条消息就发送，或 者每5秒发送一次，这种策略将大大减少服务端的I/O次数。
77 数据压缩
Kafka 还支持对消息集合进行压缩，Producer可以通过GZIP或Snappy格式对消息集合进行压缩，压缩的好处就是减少传输的数据量，减轻对网络传输的压力，Producer压缩之后，在Consumer需进行解压，虽 然增加了CPU的工作，但在对大数据处理上，瓶颈在网络上而不是CPU，所以这个成本很值得。

说下Kafka中的Partition？

可回答：1）Kafka为什么使用会有partition的数据结构，这样做的好处？（中间的一部分可回答），2）
Kafka中的partition如何保证有序？
问过的一些公司：陌陌，阿里云，快手参考答案：
为了后面更好的理解，前面先介绍下几个概念
1 、 Events，Streams，Topics Event（事件）代表过去发生的一个事实。简单理解就是一条消息、一条记录。Event 是不可变的，但是很活跃，经常从一个地方流向另一个地方。
Stream 事件流表示运动中的相关事件。
当一个事件流进入 Kafka 之后，它就成为了一个 Topic 主题。

所以，Topic 就是具体的事件流，也可以理解为一个 Topic 就是一个静止的 Stream。Topic 把相关的 Event 组织在一起，并且保存。一个 Topic 就像数据库中的一张表。2、Partition分区

Kafka 中 Topic 被分成多个 Partition 分区。

Topic 是一个逻辑概念，Partition 是最小的存储单元，掌握着一个 Topic 的部分数据。每个 Partition 都是一个单独的 log 文件，每条记录都以追加的形式写入。

Record（记录） 和 Message（消息）是一个概念。
3、OGsets（偏移量）和消息的顺序（可回答：Kafka中的partition如何保证有序） Partition 中的每条记录都会被分配一个唯一的序号，称为 OGset（偏移量）。Offset 是一个递增的、不可变的数字，由 Kafka 自动维护。
当一条记录写入 Partition 的时候，它就被追加到 log 文件的末尾，并被分配一个序号，作为 Offset。

如上图，这个 Topic 有 3 个 Partition 分区，向 Topic 发送消息的时候，实际上是被写入某一个
Partition，并赋予 Offset。
消息的顺序性需要注意，一个 Topic 如果有多个 Partition 的话，那么从 Topic 这个层面来看，消息是无序的。

但单独看 Partition 的话，Partition 内部消息是有序的。所以，一个 Partition 内部消息有序，一个 Topic
跨 Partition 是无序的。如果强制要求 Topic 整体有序，就只能让 Topic 只有一个 Partition。
4、Partition 为 Kafka 提供了扩展能力（可回答partition的作用）

一个 Kafka 集群由多个 Broker（就是 Server） 构成，每个 Broker 中含有集群的部分数据。
Kafka 把 Topic 的多个 Partition 分布在多个 Broker 中。这样会有多种好处：
如果把Topic 的所有Partition 都放在一个Broker 上，那么这个Topic 的可扩展性就大大降低了，会受限于这个Broker 的IO 能力。把Partition 分散开之后，Topic 就可以水平扩展。
一个Topic 可以被多个Consumer 并行消费。如果Topic 的所有Partition 都在一个Broker，那么支持的Consumer 数量就有限，而分散之后，可以支持更多的Consumer。
一个Consumer 可以有多个实例，Partition 分布在多个Broker 的话，Consumer 的多个实例就可以连接不同的Broker，大大提升了消息处理能力。可以让一个Consumer 实例负责一个Partition，这样消息处理既清晰又高效。
5、Partition 为 Kafka 提供了数据冗余（可回答partition的作用）
Kafka 为一个 Partition 生成多个副本，并且把它们分散在不同的 Broker。
如果一个 Broker 故障了，Consumer 可以在其他 Broker 上找到 Partition 的副本，继续获取消息。
6、写入Partition
一个Topic 有多个 Partition，那么，向一个 Topic 中发送消息的时候，具体是写入哪个 Partition 呢？有3 种写入方式。
78 使用 Partition Key 写入特定 Partition

Producer 发送消息的时候，可以指定一个 Partition Key，这样就可以写入特定 Partition 了。

Partition Key 可以使用任意值，例如设备ID、User ID。Partition Key 会传递给一个 Hash 函数，由计算结果决定写入哪个 Partition。所以，有相同 Partition Key 的消息，会被放到相同的 Partition。
例如使用 User ID 作为 Partition Key，那么此 ID 的消息就都在同一个 Partition，这样可以保证此类消息的有序性。
这种方式需要注意 Partition 热点问题。
例如使用 User ID 作为 Partition Key，如果某一个 User 产生的消息特别多，是一个头部活跃用户，那么此用户的消息都进入同一个 Partition 就会产生热点问题，导致某个 Partition 极其繁忙。
79 由Kafka决定
如果没有使用 Partition Key，Kafka 就会使用轮询的方式来决定写入哪个 Partition。这样，消息会均衡的写入各个 Partition。但这样无法确保消息的有序性。
80 自定义规则
Kafka 支持自定义规则，一个 Producer 可以使用自己的分区指定规则。
7、读取Partition
Kafka 不像普通消息队列具有发布/订阅功能，Kafka 不会向 Consumer 推送消息。Consumer 必须自己从
Topic 的 Partition 拉取消息。一个 Consumer 连接到一个 Broker 的 Partition，从中依次读取消息。

消息的 Offset 就是 Consumer 的游标，根据 Offset 来记录消息的消费情况。读完一条消息之后， Consumer 会推进到 Partition 中的下一个 Offset，继续读取消息。Offset 的推进和记录都是 Consumer 的责任，Kafka 是不管的。
Kafka 中有一个 Consumer Group（消费组）的概念，多个 Consumer 组团去消费一个 Topic。同组的Consumer 有相同的 Group ID。Consumer Group 机制会保障一条消息只被组内唯一一个 Consumer 消
费，不会重复消费。消费组这种方式可以让多个 Partition 并行消费，大大提高了消息的消费能力，最大并行度为 Topic 的 Partition 数量。

例如一个 Topic 有 3 个 Partition，你有 4 个 Consumer 负责这个 Topic，也只会有 Consumer 工作，另一个作为后补队员，当某个 Consumer 故障了，它再补上去，是一种很好的容错机制。