务本kafka

Posted 2021-05-02 珞珈之戍

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了务本kafka相关的知识，希望对你有一定的参考价值。

Kafka简介

定义

kafka是一个分布式的流处理平台。可以运行在单台服务器上，也可以在多台服务器上部署形成集群。它提供了发布和订阅功能，使用者可以发送数据到Kafka中，也可以从Kafka中读取数据（以便进行后续的处理）。Kafka具有高吞吐、低延迟、高容错等特点。

基本概念

Producer：生产者，用来向Kafka中发送数据（record）；
Consumer：消费者，用来读取Kafka中的数据（record）；
Broker：在Kafka中指部署了Kafka实例的服务器节点；
Topic：发布的消息的类别，用来区分不同类型信息的主题。对于每一个Topic，Kafka集群维护这一个分区的log，每一个分区都是一个顺序的、不可变的消息队列，并且可以持续的添加。分区中的消息都被分了一个序列号，称之为偏移量(offset)，在每个分区中此偏移量都是唯一的。就像下图中的示例：

图1 topic模型

关键功能

（1）发布和订阅消息，类似于一个消息队列；

图2 Kafka发布订阅结构

producer向kafka中发送发送数据，充当发布者，consumer向kafka消费数据，充当订阅者。

（2）以容错、持久的方式存储数据；

图3 Kafka容错处理

Kafka不决定如何消费数据，消费者自己决定何时，如何消费数据。Kafka里的数据是持久化的，每个数据都存在服务器硬盘里。

Kafka里的消费者支持fault tolerant。如果一个消费者挂掉，kafka会把任务放到其他消费者上。

（3）在消息流发生时处理他们；

也就是我们所说的流处理 kafka从0.10版本之后增加了kafka streams流处理功能。当直接使用Kafka consumer和producer API时，你如果想要实现比较复杂的逻辑，像聚合和join,就得在这些API的基础上自己实现如果用流处理框架，那么就添加了很多很多复杂性，对于调试、性能优化、监控，都带来很多困难。

图4 流处理对比

kafka streams也不同于spark等流处理平台，kafka streams 主要是将数据进行处理后再次写入kafka中，而spark等平台则是写到数据库中。

Kafka架构

（1）kafka架构

Kafka的整体架构非常简单，是显式分布式架构，producer（前端应用）、broker（kafka）和consumer（数据库集群、消息推送服务）都可以有多个。数据从producer发送到broker，broker承担一个中间缓存和分发的作用。broker分发注册到系统中的consumer。broker的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存。

图5 kafka架构

（2）消息发送的流程

Producer根据指定的partition方法（round-robin、hash等），将消息发布到指定topic的partition里面。kafka集群接收到Producer发过来的消息后，将其持久化到硬盘，并保留消息指定时长（可配置），而不关注消息是否被消费。Consumer从kafka集群pull数据，并控制获取消息的offset。

图6 消息发送的流程

Kafka高效设计

（1）消息顺序写入磁盘

我们知道现在的磁盘大多数都还是机械结构，如果将消息以随机写的方式存入磁盘，就会按柱面、磁头、扇区的方式进行(寻址过程)，缓慢的机械运动(相对内存)会消耗大量时间，导致磁盘的写入速度只能达到内存写入速度的几百万分之一，为了规避随机写带来的时间消耗，KAFKA采取顺序写的方式存储数据。每个分区日志只能在尾部追加写入(append)，而不允许随机“跳到”某个位置开始写入，故此实现了顺序写入。