kafka基础功能介绍

Posted zzok

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka基础功能介绍相关的知识,希望对你有一定的参考价值。

4)设置脚本开机自动执行 
 
···
vi /etc/rc.d/rc.local #编辑,在最后添加一行 
sh /usr/local/kafka/kafkastart.sh & #设置开机自动在后台运行脚本 
···
  • 物理概念:物理层面的隔离,如数据库,服务器设备等
  • 逻辑概念:代码/策略逻辑层面的概念
  • Producer:消息和数据的生产者,向kafka的一个topic发布消息的进程/代码/服务
  • Consumer:消息和数据的消费者,订阅数据(Topic)并且处理其发布的消息的进程/代码/服务
  • Consumer Group:逻辑概念,对于同一个topic,会广播给不同的group,一个group中,只有一个consumer可以消费该消息
  • broker:物理概念,kafka集群中的每个kafka节点
  • topic:逻辑概念,kafka消息的类别,对数据进行区分、隔离
  • partition:物理概念,kafka下数据存储的基本单元。一个Topic数据,会被分散存储到多个partition,每个partition是有序的
  • Replication:同一个Partition可能会有多个Replica,多个Replica之间的数据是一样的(相当于一个partition有多个副本)
  • Replication Leader:一个Partition的多个Replica上,需要一个Leader负责Partition上与Producer和Consumer交互(有且只有一个,其他的负责同步数据,当好备胎)
  • ReplicaManager:负责管理当前broker所有分区和副本的信息,处理kafkaController发起的一些请求,副本状态的切换、添加/读取消息等
Partition 
 1.每一个Topic被切分为多个Partitions
partition属于消息存储的基本单位。topic就像分类,一个分类下有多个单位(partition)。
2.消费者数据少于或等于Partition的数目
3.Broker Group 中的每一个Broker保存Topic的一个或多个Partitions
//broker 是kafaka的一个存储节点。多个节点组成一个Broker Group
4.Consumer Group中的仅有一个Consumer读取Topic的一个或者多个parttition,并且是唯一的Consumer。以组的方式进行topic调度
 
 
时间复杂度 :是随着操作几次 变化而变化的
空间复杂度: 是根据实际数据行而计算的
 
rw random write 随机读写
sw sequenue write 顺序读写
kafka 发送消息分区存储方式
有key hash
没key 轮询
 

以上是关于kafka基础功能介绍的主要内容,如果未能解决你的问题,请参考以下文章

kafka介绍

Kafka 0.11版本新功能介绍

Kafka 0.11新功能介绍:空消费组延迟rebalance

kafka restful api功能介绍与使用

kafka介绍和使用

kafka介绍和使用