kafka体系架构

Posted 2021-05-02 ItStar

基本概念

       kafka是一种高吞吐量的消息队列（生产者消费者模式）

       由Scala和Java编写

       Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 

来源

kafka的诞生，是为了解决Linkedin的数据管道问题，初Linkedin采用了ActiveMQ来进行数据交换，大约是在2010年前后，那时的ActiveMQ还远远无法满足linkedin对数据传递系统的要求，经常由于各种缺陷而导致消息阻塞或者服务无法正常访问，为了能够解决这个问题，Linkedin决定研发自己的消息传递系统，当时Linkedin的首席架构师jay kreps便开始组织团队进行消息传递系统的研发；

kafka的名称是由kafka的架构师jay kreps起得，jay kreps非常喜欢franz kafka,因此取了个名称是kafka，取名字是并没有特别的含义。

目的

通过Hadoop并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费

构建企业中统一的、高通量的、低延时的消息平台。

架构

message 消息 kafka的数据单元,称之为'消息',消息由键(key)值(value)组成

broker kafka服务器 用于标识每个kafka,当然一个服务器上可以开启多个broker,但是broker的id不能相同

Topic  主题 消息主键,从逻辑上区分不同的消息类型

Producer 消息生产者,生产消息,可以指定向那个topic,topic那个分区生成消息

Consumer 消息消费者,消费消息,同一个消息只能被同一个consumer group中的consumer消费,consumer是通过offset进行标识消息被消费的位置.consumer的个数取决于topic所划分的partition

特性

高吞吐量;kafka可以做到每秒数十万的消息

通过kafka和消费集群来分区消息;

支持Hadoop并行数据加载

磁盘数据结构提供消息结构化, 即使TB的消息存储也能稳定长期的进行存储