kafka基础功能介绍

Posted 2022-07-12 zzok

4）设置脚本开机自动执行 

 

···

vi /etc/rc.d/rc.local #编辑，在最后添加一行 

sh /usr/local/kafka/kafkastart.sh & ＃设置开机自动在后台运行脚本 

···

3-1 kafka基本概念

2018-11-26

• 物理概念：物理层面的隔离，如数据库，服务器设备等
• 逻辑概念：代码/策略逻辑层面的概念
• Producer:消息和数据的生产者，向kafka的一个topic发布消息的进程/代码/服务
• Consumer:消息和数据的消费者，订阅数据（Topic）并且处理其发布的消息的进程/代码/服务
• Consumer Group:逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息
• broker:物理概念，kafka集群中的每个kafka节点
• topic：逻辑概念，kafka消息的类别，对数据进行区分、隔离
• partition:物理概念，kafka下数据存储的基本单元。一个Topic数据，会被分散存储到多个partition，每个partition是有序的
• Replication：同一个Partition可能会有多个Replica，多个Replica之间的数据是一样的（相当于一个partition有多个副本）
• Replication Leader：一个Partition的多个Replica上，需要一个Leader负责Partition上与Producer和Consumer交互(有且只有一个，其他的负责同步数据，当好备胎)
• ReplicaManager：负责管理当前broker所有分区和副本的信息，处理kafkaController发起的一些请求，副本状态的切换、添加/读取消息等

Partition 

 1.每一个Topic被切分为多个Partitions

partition属于消息存储的基本单位。topic就像分类，一个分类下有多个单位（partition）。

2.消费者数据少于或等于Partition的数目

3.Broker Group 中的每一个Broker保存Topic的一个或多个Partitions

//broker 是kafaka的一个存储节点。多个节点组成一个Broker Group

4.Consumer Group中的仅有一个Consumer读取Topic的一个或者多个parttition，并且是唯一的Consumer。以组的方式进行topic调度

 

 

时间复杂度 :是随着操作几次 变化而变化的

空间复杂度: 是根据实际数据行而计算的

 

rw random write 随机读写

sw sequenue write 顺序读写

kafka 发送消息分区存储方式

有key hash

没key 轮询