颠覆 Kafka 的统治，下一代云原生消息平台 Pulsar 来了！

Posted 2021-04-23 DataFunTalk

提起成熟的消息队列，毋庸置疑，大多数人的第一反应一定是 Kafka。

Kafka 作为一款明星级产品，能够彻底满足海量数据场景 下高吞吐、高并发需求，在短短几年内，已经被阿里、腾讯、百度、字节跳动、 Netflix、Twitter 等超一线大厂视为技术核心——可以说今天还没听说过 Kafka，等于不知道地球是圆的！

然而，技术的世界从没有“三十年河东三十年河西”的说法，夸张地比喻一下：很多技术经常是 今天诞生、明天爆火、后天淘汰 。 市面上真的没有其他产品有可能取代 Kafka 吗？一身光环、头顶王冠的 Kafka 究竟还能火多久？

01

消息传递系统之王“陨落”在即

Kafka 最大的对手来了？

Kafka 被誉 为消息传递系统之王，它全面具备： 高吞吐量、 低延迟、 容错、 持久性、 可伸缩性，尤其是广为人知的高吞吐量，Kafka 每秒大约可以生产约 25 万消息（50 MB），每秒处理 55 万消息（110 MB）！Kafka 还有一个巨大的优势就是容错，它具备一个固有功能，可以自行应对集群中的节点故障。

Kafka 当然很强，但在运维和实践过程中，却也始终存在着一些棘手的问题。 例 如：

扩展性较差，剥离 Broker 意味着必须复制 topic 分区和副本，效率很低；

缺乏一致性，一旦 API 发生变化很有可能出现问题；

存储成本非常高，几乎没有人用Kafka长时间存储数据；

没有与租户完全隔离的本地多租户，需要自行配置解决方案。

俯瞰技术生态，有没有一个平台，能够既拥有 Kafka 的优势，又规避它的缺陷，同时还融合了 MQ 的一系列特性呢？是的，你想要的完美，下一代云原生消息平台、Apache 顶级项目 Pulsar 都可以满足！

02

存储计算分离、分层分片云原生架构

Apache Pulsar

生来，注定是王者！

很多公司常常会在 Kafka 和 MQ 之间做选择，这是因为在实时流式架构中，消息用例可被分为两类：队列和流。而 Pulsar 最优秀的地方正在于此，它将队列和流合二为一，统一为消息传递模型（producer-topic-subscription-consumer）！

也就是说，Pulsar 不仅可以如同 Kafka 一样处理高速率实时场景，还能支持传统的标准消息队列模式，例如多消费者和失效备援订阅等。

一个 Pulsar 系统，直接让你拥有 RabbitMQ + RocketMQ + Kafka 的各项特性！更惊艳的是，Pulsar 采用云原生架构，它的架构设计能够充分利用分布式且能弹性扩容云端资源，永久性告别性能不足。

Pulsar 消息发送模式架构图

目前，Pulsar 已经被腾讯、智联招聘、涂鸦智能、中国移动、中国电信、360、达达集团（京东到家）、苏宁、平安证券、华为等各个领域的巨头争先广泛实践，有全面赶超 Kafka 的趋势，和当年阿里推动 Flink 取代 Spark 的态势非常相似！

2021 移动互联网下半场，高并发、高吞吐已经不再是首要的痛点，几乎可以肯定 Pulsar 将会被越来越多的大厂快速应用，成为下一个风口！

为了帮助你快速学习、理解、掌握和实践强悍的 Pulsar，赶超技术圈下一个高薪风口，我们特别邀请了 StreamNative 的联合创始人，同时也是开源项目 Apache Pulsar 和 Apache BookKeeper 的 PMC 成员和 Committer 的翟佳老师，与奈学教育联合创始人、前58转转公司大数据资深架构师、Hadoop平台负责人李希沅老师，推出国内首套 Pulsar 课程，打造了最新一期《Apache Pulsar - 万亿级云原生的分布式消息平台》在线专栏课！

原价 ¥ 499 ，限时  ¥9.8 立刻学习！

长按扫码

以上是关于颠覆 Kafka 的统治，下一代云原生消息平台 Pulsar 来了！的主要内容，如果未能解决你的问题，请参考以下文章

颠覆Kafka的统治，新一代云原生消息系统Pulsar震撼来袭！

主流消息队列Kafka和下一代云原生消息平台Pulsar架构分析

分布式消息流平台：不要只想着Kafka，还有Pulsar

下一代云原生消息流平台 Apache Pulsar 消息保留和过期策略设计

云原生消息平台之王：Apache Pulsar

译文｜选择 Apache Pulsar 而非 Kafka 的 10 个理由