Kafka淘汰倒计时！这个新一代消息中间件，腾讯华为都用疯了？

Posted 2021-05-18 朱小厮

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Kafka淘汰倒计时！这个新一代消息中间件，腾讯华为都用疯了？相关的知识，希望对你有一定的参考价值。

提起成熟的消息队列，毋庸置疑，大多数人的第一反应一定是 Kafka。

Kafka 作为一款明星级产品，能够彻底满足海量数据场景下高吞吐、高并发需求，在短短几年内，已经被阿里、腾讯、百度、字节跳动、Netflix、Twitter 等超一线大厂视为技术核心——可以说今天还没听说过 Kafka，等于不知道地球是圆的！

然而，技术的世界从没有“三十年河东三十年河西”的说法，夸张地比喻一下：很多技术经常是今天诞生、明天爆火、后天淘汰。市面上真的没有其他产品有可能取代 Kafka 吗？一身光环、头顶王冠的 Kafka 究竟还能火多久？

01

消息传递系统之王“陨落”在即

Kafka 最大的对手来了？

Kafka 被誉为消息传递系统之王，它全面具备：高吞吐量、低延迟、容错、持久性、可伸缩性，尤其是广为人知的高吞吐量，Kafka 每秒大约可以生产约 25 万消息（50 MB），每秒处理 55 万消息（110 MB）！Kafka 还有一个巨大的优势就是容错，它具备一个固有功能，可以自行应对集群中的节点故障。

Kafka 当然很强，但在运维和实践过程中，却也始终存在着一些棘手的问题。例如：

扩展性较差，剥离 Broker 意味着必须复制 topic 分区和副本，效率很低；

缺乏一致性，一旦 API 发生变化很有可能出现问题；

存储成本非常高，几乎没有人用Kafka长时间存储数据；

没有与租户完全隔离的本地多租户，需要自行配置解决方案。

俯瞰技术生态，有没有一个平台，能够既拥有 Kafka 的优势，又规避它的缺陷，同时还融合了 MQ 的一系列特性呢？是的，你想要的完美，下一代云原生消息平台、Apache 顶级项目 Pulsar 都可以满足！

02

存储计算分离、分层分片云原生架构

Apache Pulsar

生来，注定是王者！

很多公司常常会在 Kafka 和 MQ 之间做选择，这是因为在实时流式架构中，消息用例可被分为两类：队列和流。而 Pulsar 最优秀的地方正在于此，它将队列和流合二为一，统一为消息传递模型（producer-topic-subscription-consumer）！

也就是说，Pulsar 不仅可以如同 Kafka 一样处理高速率实时场景，还能支持传统的标准消息队列模式，例如多消费者和失效备援订阅等。

一个 Pulsar 系统，直接让你拥有 RabbitMQ + RocketMQ + Kafka 的各项特性！更惊艳的是，Pulsar 采用云原生架构，它的架构设计能够充分利用分布式且能弹性扩容云端资源，永久性告别性能不足。

Pulsar 消息发送模式架构图

目前，Pulsar 已经被腾讯、智联招聘、涂鸦智能、中国移动、中国电信、360、达达集团（京东到家）、苏宁、平安证券、华为等各个领域的巨头争先广泛实践，有全面赶超 Kafka 的趋势，和当年阿里推动 Flink 取代 Spark 的态势非常相似！

2021 移动互联网下半场，高并发、高吞吐已经不再是首要的痛点，几乎可以肯定 Pulsar 将会被越来越多的大厂快速应用，成为下一个风口！

为了帮助你快速学习、理解、掌握和实践强悍的 Pulsar，赶超技术圈下一个高薪风口，我们特别邀请了 StreamNative 的联合创始人，同时也是开源项目 Apache Pulsar 和 Apache BookKeeper 的 PMC 成员和 Committer 的翟佳老师，与奈学教育联合创始人、前58转转公司大数据资深架构师、Hadoop平台负责人李希沅老师，推出国内首套 Pulsar 课程，打造了最新一期《Apache Pulsar - 万亿级云原生的分布式消息平台》在线专栏课！

原价 ¥499，限时 ¥9.8 立刻学习！

长按扫码????，锁定 ¥9.8 名额

同时免费领取「10 套干货视频合集」

和「阿里、字节最新面试题」

仅前 50 人有效，先到先得！

国内首套 Pulsar 在线专栏课原价499，现在花9.8半杯奶茶钱就能拿下，绝对相当划算！12节名师精心打磨的大数据架构师必备技术知识精品课程，5月17 - 19日，3天速成，晚20:00-22:00点，帮助你赶超下一个行业风口！

重要提醒：一次报名，支持不限次数、不限日期的永久回看，还免费送你「10 套干货视频合集」+「阿里、字节最新面试题」，报名后联系课程顾问老师，马上免费领取！

12节干货实战课，带你快速掌握：

消息系统的架构选型；
深度掌握新一代万亿级消息系统 Pulsar 的架构设计；
搞定新一代万亿级消息系统 Pulsar 的核心特性；
掌握 Apache BookKeeper 的核心设计；
掌握大数据最新技术一手行业干货趋势、动态。

03

我为什么推荐这门课程给你

从 0 到 1 层层深入 Pulsar 架构核心

Pulsar 通过特别的设计和抽象，统一地支持 Streaming 和 Queueing 两种消息消费模式，保持了 Streaming 模式的高性能和 Queueing 模式的灵活性。Pulsar 在保证大数据消息系统的性能和吞吐量的同时，提供了更多企业级的 Feature，包括方便的运维和扩展，灵活的消息模型，多语言API，多租户，异地多备，和数据的强持久性一致性等等，解决了现有开源消息系统的很多不足之处。