使用 Go 实现生产者和消费者，Kafka 正式升级到 3.0！

Posted 2022-02-28 qcrao

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了使用 Go 实现生产者和消费者，Kafka 正式升级到 3.0！相关的知识，希望对你有一定的参考价值。

Kafka 是消息队列中间件的代表产品，它与RocketMQ和RabbitMQ最大的区别在于：在某些场景，可以弃用Flink、Spark这样的计算引擎，借助Kafka Stream轻松实现数据处理。也即，Kafka不仅是消息引擎系统，也是分布式流处理平台。

最新版本 3.0的发布，使得Kafka这一定位得到了进一步加强。突出的一点体现在对KRaft元数据和API进行了诸多突破性的改进：

“KRaft Controllers 和 KRaft Brokers，能够为元数据主题 __cluster_metadata 的分区生成、复制和加载快照”

此外，Kafka3.0在很多方面都进行了改善和升级，例如：Kafka 主题/分区偏移量的能力、Kafka Consumer 的配置属性、弃用对 Java 8 和 Scala 2.12 的支持…

当然，比起这些，有一个更直观的理由能让我们从Kafka2换到Kafka3：Kafka3的速度与性能起码是Kafka2的10多倍！

百万分区情况下，Kafka3与Kafka2的启动以及停机时间对比

相信在2022年，Kafka3将迅速占领各大厂的面试题库。

如果你准备在工作或练习中开始应用Kafka3，或者只是想要进一步学习了解Kafka3时，你会面临一个不可忽视的环节：源码阅读。而在这之前你得先知道：

如何确认Kafka3中的最小单位的组件？

如何选择/区分不同的功能点？

如何找到Kafka3最核心的（主流程）源码？

与其自己漫无目的地查资料，我建议你参加由前中国移动研究院大数据工程师王超老师打造的《Kafka3新特性及源码剖析》在线专栏课，2天时间，带你独家揭秘Kafka3的新特性，深入解读源码设计，解析元数据一致性算法，领略Kafka3架构设计之美，获悉系统性能提升的破局之道。

2.28-3.1日晚开课

原价 ¥499，限时 ¥0.01 立刻学习！

长按扫码👆，锁定 ¥0.01 名额

仅前 50 人有效，先到先得！

报名即享受大厂专属内推

更有求职大礼包，免费送～

我为什么推荐你学习这门课

主讲王超老师，前中国移动研究院大数据工程师，拥有10年软件开发经验，参与多个大型项目的全生命周期管理与开发，擅长大数据相关技术落地实践、大数据技术架构规划以及OLAP数据分析，并且拥有多年的授课经验，善于深入浅出剖析技术难点。

跟随王超老师学习Kafka3的新特性和源码，有问题可以在直播间和群里面随时提问，老师会帮你解答大数据、技术领域的核心问题。

这套在线专栏原价 499，现在花 0.01 元，就能马上学习，绝对相当划算。重要的是现在课程重磅新升级，升级后的课程体系紧随一线互联网大厂前沿技术，新增实战项目、高级商业项目，全方位提升学员实战能力，全面提升课程的实用性、先进性。

内容有多干、多实用，看大纲就知道了：

一次报名，精品课程与电子书免费赠送！

报名即可领取价值 99 元的 12 本程序员必读电子书目。数据库、Hadoop、Docker、Hive、Hbase 一应俱全，帮助你在通过课程提升的基础上，从理论层面全面进阶。

VIP课程免费领取：报名就送价值 499元的【SparkStreaming企业级实战训练营】，针对企业级实时处理方案进行全方位的讲解。内容包含：SparkStreaming技术的核心原理剖析，SparkStreaming项目的企业级架构设计方案，SparkStreaming实时任务的监控告警架构设计方案等。