kafka专栏针对kafka的简单介绍

Posted 2022-04-27 字母哥哥

一、Kafka简介

Kafka 是由Linkedin公司开发的一款开源的用于实时流式数据处理的平台，也可以说是一款具有分布式、多分区、多副本、多生产者及消费者的消息队列中间件。

关于kafka更多的名词堆砌式的介绍，我就不多说了，也没有太多实际的意义。

二、Kafka 的特性

• 高吞吐、低延迟：kafka 处理数据的速度可以达到每秒几百万条（数据处理速度主要受每条数据的大小影响），数据传递的延迟最低可以达到几毫秒。kakfa之所以能做到这点，是因为
  • 实现了零拷贝避免了从内核空间与用户空间的数据复制。
  • kafka数据顺序写入磁盘，从而避免随机写磁盘寻址导致时间上的浪费。之所以能够顺序写盘，是因为kafka文件不提供数据寻址删除的能力。
  • 有效的数据压缩并减少 I/O 延迟
  • 数据生产者采用数据批量发送的方式，而不是逐条发送至kafka服务端
• 数据持久性、可靠性：kafka接收到的数据会进行持久化的保存到磁盘上，并且存在多副本的备份机制，所以一定程度上保证了数据持久性、可靠性。
• 高可用容错性：kafka将消息分成多个主题(topic