聊聊消息中间件开发：Kafka committer秦江杰访谈

Posted 2021-05-02 高可用架构

导读：12 月 22 ~ 23 日，GIAC 全球互联网架构大会将于上海举行。GIAC 是高可用架构技术社区与 msup 联合推出的面向架构师、技术负责人及高端技术从业人员的技术架构大会。GIAC 于 2016 年 12 月成功举办了第一届，今年的 GIAC 已经有腾讯、阿里巴巴、百度、平安、饿了么、携程、七牛、蚂蚁金服、罗辑思维、摩拜、唯品会，LinkedIn, Pivotal, Mesosphere, AdMaster, Hulu 等公司专家出席。

在大会前夕，高可用架构采访了来自 LinkedIn 讲师 Jiangjie Qin（秦江杰），就目前的消息中间件事实标准 Kafka 进行了简短访谈。

高可用架构：江杰你好，你能跟大家分享你作为 Apache Kafka 的 committer 和 PMC member 日常都会参与哪些社区的事务吗？

Jiangjie Qin：Committer 的工作主要有几个方面，例如 code review，设计讨论及投票，回答解决社区的各种问题等等。PMC 成员在 Committer 的工作基础上会有一些项目管理方面的事务，比如对于 Apache Kafka 商标权的维护，提名新的 Committer 或 PMC 成员，对于新版本发布的特性投票等等。

高可用架构：你对前不久 Apache Kafka 正式 release 1.0 有什么看法？

Jiangjie Qin：Kafka 1.0 版本是一个很重要的里程碑，我觉得 1.0 版本有几个意义：首先它表明 Kafka 整个产品和生态的成熟度迈上了一个新的台阶，在兼容性、安全性等企业级需求方面达到了更高的要求。其次它意味着 Kafka 从一个消息中间件到流处理平台的进化基本完成。同时这一版本的发布也是对社区贡献者近几年来所作出贡献的重要肯定。

高可用架构：Kafka 作为消息中间件系统的事实标准，你个人认为它未来发展的重要方向和趋势是什么？

Jiangjie Qin：这几年 Kafka 已经从一个消息中间件进化成为了以 Kafka 为核心的流处理平台。随着进几年的发展，Kafka 的消息中间件核心功能得到了很大加强，例如 Quota，Security，消息时间戳，Exactly Once 投递等重要功能的加入使得 Kafka 的使用场景和范围越来越广。尽管如此，作为核心的消息中间件还有很多值得改进的地方。比如最近我们对控制器模块进行了重构使其性能得到了大幅提升。再比如目前 Kafka 对于控制流和数据流之间的隔离还做得不是很好，对于数据分布的灵活性也有改进的空间，对于盘上加密的支持和端到端的加密效率也有一些工作可以做。另外目前社区的很大一部分力量放在了 Kafka Streams 的开发上，这应该也会是未来一段时间的一个开发重点。

高可用架构：在 Kafka 过去的演进过程中，能简单分享个你经历或参与得印象最为深刻的事件吗？

Jiangjie Qin：我个人接触 Apache Kafka 是从 0.8 版本开始的。个人印象比较深的应该还是自己当初在消息格式中新增时间戳。那是从 0.8 版本以来第一次更改消息格式，当时采用的在线升级方式也为后续的消息格式更改奠定了基础。那次觉得开源社区的集体智慧非常关键。

高可用架构：作为此次 GIAC 专题的讲师，能否简单透露一下你将分享的内容？

Jiangjie Qin：这次将要跟大家分享的是我们为了解决 Kafka 的动态负载均衡和自我管理所做的一个叫做 Cruise Control 的项目。我们从Kafka 出发搭建了一个对其他系统也适用的一个通用动态负载均衡模块，希望能够为其他系统在运维和性能优化方面带来一些启发。

高可用架构：最后，你对这一届 GIAC 有什么寄语或者期望？

Jiangjie Qin：这是我第一次参加 GIAC，希望能够认识更多国内技术圈的朋友，交流学习，共同进步。

高可用架构：谢谢你接受此次访谈，预祝你在大会的演讲顺利！

<EOF>

本文采访及编辑魏佳（@Life Player）。

本期 GIAC 2017大会上，中间件 专题精彩议题如下：

注：出品人及演讲议题以最新官网为准，全部最新演讲议题请点击“阅读原文”至官网查看。

参加 GIAC，盘点年底最新技术，目前单人购买优惠 600 元，多人购买有更多优惠。点击“阅读原文”了解大会更多详情。