Kafka 简介梳理

Posted 2020-11-28 elegent

个人在学习Kafka ， 这两天在看官方文档。

看完了简介部分，看完做个小总结。看看官方是怎么夸Kafka的。

三大特性

• 发布-订阅
• 持久化存储
• 低延迟的实时处理

特性梳理

• Topic ： 逻辑概念，承载数据的实体
• 数据的保存期限可以设置
• 磁盘是顺序读写，IO不是瓶颈
• 可以处理大数据量数据，且不损失性能
• 数据存储，
  • 数据不丢失
  • 可以重复消费
  • 各消费组间数据消费隔离。消费数据互不影响
• 文件存储可以水平扩展
  • 因此只要服务器允许，Kafka 可以保存无限大的数据量
• 每个分区都可以复制备份，实现容错。
• 灵活的生产消费规则
  • 生产者
    • 默认轮流的分区写数据
    • 可以自定义规则来指定分区写数据，做到数据隔离。（多租户实现）
    • Kafka 严格保证单分区上的生产顺序
  • 消费者
    • 消费者是以组的形式来获取数据
    • 分区和消费者可以相互对应
      • 水平扩展消费能力
      • 数据隔离不重复消费
    • 消费者数量 <= 分区数
• 多分区时，Kafka没有总数据的顺序，只有单分区的顺序
• 多租户，可以通过数据隔离实现。可以对租户资源配额。