云原生人物志 | Pulsar翟佳：社区的信任最重要

Posted 2021-04-02 CSDN云计算

云原生已无处不在，《云原生人物志》是CSDN重磅推出的系列原创采访，我们关注云原生中每一个技术人、公司的身影。知微见著，窥见云原生价值与趋势。

编辑 | 宋 慧

出品 | CSDN云计算
头图 | 付费下载于视觉中国

本期我们采访了 Apache 顶级项目 Pulsar 的 PMC、 StreamNative 公司联合创始人兼 CTO 翟佳，听听他的开源与云原生创业历程。 顺便祝读者朋 友们春节快乐。

关于技术人

CSDN: 请先介绍一下您的技术经历？

翟佳： 大家好，我是翟佳，目前是 StreamNative 公司联合创始人兼 CTO，也是 2 个 Apache 软件基金会顶级项目 Apache BookKeeper 和 Apache Pulsar 的 PMC 成员。

从毕业之后，我一直坚持在同一个技术方向。在中科院计算所研究生阶段，我的主要工作是存储、文件系统的开发。毕业之后，加入 EMC 接着做文件系统和分布式的设计和开发，EMC 期间有幸接触和使用到 Apache BookKeeper。

BookKeeper 是一个基于 WriteAheadLog 的低延迟、高性能、强一致性的分布式存储引擎。我所负责的 EMC 项目就是在容器环境之上，将 BookKeeper 作为流存储的基础，提供给 Flink 等计算引擎使用。BookKeeper 是基于 WriteAheadLog 的简单抽象，但是丰富的应用场景给了我很大触动。

所以，在离开 EMC 之后，仍继续从事基于 BookKeeper 的 Apache Pulsar 的设计和开发。在持续参与并贡献 Apache BookKeeper 和 Apache Pulsar 2 个开源项目过程中，我逐渐成为 Apache BookKeeper 和 Apache Pulsar 的项目管理委员会成员。近年来，除了专注技术之外，我也在社区做开源布道、推广的工作，期望让更多开发者了解 BookKeeper 和 Pulsar 的优势与特性。

CSDN： 最近在关注哪些领域技术和趋势？

翟佳： 除了开源社区，流存储、流计算、批流融合、云原生等是我长期以来一直关注的方向。

关于Pulsar、云原生

CSDN： 您如何看待云原生在中国的发展？

翟佳： 云原生的概念最早是在 2014 年诞生，后来 2015 年 Linux 基金会成立了 CNCF 来推动云原生的发展。在计算机的发展历程中，从大型机到小型机，再到分布式集群和云计算，是一个逐渐提高计算效率和降低应用开发、运维难度的一个过程。云原生带来的是计算资源的池化、资源的生态化和资源的标准化。越来越多的人也逐渐认可：云原生是云计算未来的发展方向。

我国是全球最大的单一市场，有超前的大数据与互联网场景及需求，这是促进云原生技术发展的动力，也为国内云原生技术的发展与繁荣带来巨大的机会。

CSDN： 在云原生领域，Pulsar 是什么角色？

翟佳： Apache Pulsar 于 2016 年由雅虎开源，并在 2018 年 9 月毕业成为 Apache 基金会的顶级项目。随着社区用户不断增多，Pulsar 的功能和生态在不断丰富与完善，现在也正是 Pulsar 的快速增长时期。

Apache Pulsar 从 2012 年开始设计时就前瞻性地采用了存储计算分离、分层分片的云原生架构，极大减轻了用户在消息系统中遇到的扩展和运维的困难；并且它采用专门为消息和流设计的存储系统，为重要场景提供了可靠的读写服务质量和一致性保障——这也是我们说 Apache Pulsar 是云原生分布式消息平台的理由。

Pulsar 定位于云原生生态中的消息平台。Pulsar 社区现在有不少工作是让用户更方便地借助云原生的优势，在云环境中把 Pulsar 用作消息服务的基础。

CSDN： 如何平衡社区版本和商业版本？你认为最大的困难是什么？

翟佳： 开源社区是 StreamNative 发展的基础，所以我们团队现在从事的与 Pulsar 所有相关工作全部开源，不存在开源社区版本和商业版本的区别。在 Apache Pulsar 发布新版本时，StreamNative 都会将团队内部新的提交（Pull Request）合并回 Apache Pulsar 项目中，StreamNative 公司和社区用户用的是同一份代码。StreamNative 作为 Apache Pulsar 社区的维护者，为企业提供最专业的基于 Apache Pulsar 的公有云、私有云和混合云等场景下的托管和运维服务。

谈到困难与挑战，不同阶段我们遇到不同的挑战。在社区初始阶段，Pulsar 开源之时已在 Yahoo! 内部大规模稳定运行很长时间，它具备架构、数据读写服务质量等诸多功能特性，我们需要让大家知道 Pulsar 这些优秀的地方，需要让大家认识到 Pulsar 可以解决的痛点。比如，其他传统消息队列场景中系统的横向扩展性，流场景中系统的运维复杂度等问题。在该阶段，社区从 0 到 1 ，Pulsar 的功能和基础已经具备，需要做社区推广工作。

现阶段，Pulsar 已经吸引了众多重磅企业和团队用户，解决了大家在业务场景中遇到的诸多痛点，这带来一定的示范效应，吸引到越来越多的用户进入社区，也给 Apache Pulsar 带来了更多的应用场景和功能需求。在该阶段，做好社区推广的同时，还要考虑应该如何梳理出社区用户的共性需求以不断丰富 Pulsar 的功能和场景，考虑如何持续维护社区的健康发展等等问题。

CSDN： 全球与中国用户使用Pulsar，有哪些案例和故事可以分享？

翟佳： 这一点是我们很乐意与大家分享的地方。伴随着 StreamNative 与社区的共同努力，目前 Apache Pulsar 落地场景越来越多，也看到越来越多重磅案例出现。

智联招聘作为国内 Apache Pulsar 最早落地案例给了我们很大鼓舞。智联招聘内部面临 RabbitMQ 的扩展性问题，想要寻求一种消息服务，期待同时满足扩展、数据读写服务质量两方面的需求来作为内部的消息总线，但是调研过很多项目与产品都不能满足团队需求。

后来，他们先调研到 Apache BookKeeper，发现 BookKeeper 可以提供很好的扩展性和数据服务读写质量，准备基于 BookKeeper 之上添加消息功能的实现。偶然的机会让他们发现了 Pulsar，一下感觉到这就是他们想要做的东西。当时有“知音相遇恨晚”的感觉，我们强烈感受到智联招聘团队对 Apache Pulsar 的渴望和热爱，我们也为 Pulsar 能够解决用户的痛点感到激动。于是一拍即合，开始了 Apache Pulsar 在智联招聘的落地旅程。虽然 RabbitMQ 当时承接智联招聘的线上系统，但是从 RabbitMQ 迁移到 Pulsar，从灰度、上线到全部替换 RabbitMQ 整个过程特别迅猛。

对消息的两个场景，线上业务典型案例是腾讯计费平台，线下数据分析典型案例是短视频应用 BIGO：

腾讯计费平台不单对系统扩容有要求，同时也对数据服务质量要求严苛，腾讯计费平台利用 Apache Pulsar 处理日均 100亿+ 交易请求，日均消费 10T+ 数据，承载了腾讯集团每日数亿收入大盘，托管账户总量达 300 多亿；

BIGO 的案例是大家在 Stream 场景中经常遇到的集群运维这一痛点。BIGO 借助 Apache Pulsar 与大数据生态系统的良好融合构建了实时推荐和分析系统，助力业务快速发展，降低了原来 Kafka 集群运维成本与难度，特别是扩容缩容的人力成本。

除此之外，我们还有很多部署并使用 Pulsar “历史已久” 的公司。作为用户中的先驱者，例如国外的 Yahoo!Japan、Splunk，国内的 EMQ、中国电信等都是 Pulsar 的老用户。Pulsar 帮助 Splunk 将成本降低了 1.5 - 2 倍，延迟降低了 5 - 50 倍，运营成本降低 2 - 3 倍；在 Yahoo! 的部署中，Pulsar 支持同等规模的业务量，还在保证更高数据服务质量的情况下，消耗只有 Kafka 的一半的实际硬件资源成本。以上几个公司不但在内部扩大 Pulsar 的使用场景，而且不断为 Pulsar 贡献新功能、为社区分享经验。

在今年 11 月底，我们举办了 Apache Pulsar 首届亚洲峰会。在峰会中有很多来自社区的场景案例，诸如物联网、证券交易与金融科技、电信计费、互联网直播、在线教育、即时零售与物流配送、电子商务、人工智能等等行业，落地场景越来越丰富，目前正呈现出爆发趋势。

Apache Pulsar 自身的云原生架构设计、专用的消息存储引擎以及跨地域复制和多租户等众多的企业级特性，吸引越来越多的用户落地 Apache Pulsar。我们在与社区用户的合作过程中发现大家都有相似的经历：在快速增长业务的压力面前，已有的系统面临着诸多技术痛点，包括系统的扩展、数据服务质量等。改造现有系统极大耗费了人力与精力却收益慎微，在转向 Pulsar 的过程中，越来越体会到 Pulsar 的优势，认识到 Pulsar 新的能力和价值，在用户的使用规模、使用场景都突破了当时的规划。

关于开源

CSDN： Pulsar 现在已经是非常知名的项目了，在 Apache 软件基金会孵化期间的收获是什么？

翟佳： Pulsar 在 2016 年由 Yahoo 开源，后面捐赠给 Apache 软件基金会进入孵化器孵化，并在 2018 年毕业成为顶级项目。在 Apache 基金会孵化期间，主要目标之一就是遵循 Apache 软件基金会成熟的机制与流程使 Pulsar 在项目、社区等层面更好地实践“Apache之道”，打好项目与社区快速发展、健康多元的基础。Apache 软件基金会的品牌影响力也为 Pulsar 带来了一些帮助。

在 Apache 软件基金会项目孵化期间，新项目主要会接受「Apache 之道」(Apache Way)的辅导，以及与 Apache 基础设施融合、Apache 软件协议的合规等等事项。关于「Apache 之道」，主要包括如下原则：赢得权威、同侪社区、公开沟通、共识决策、项目自治、独立自主、社区胜于代码。其中「社区胜于代码」这一条应该是被 Apache 社区引用最广泛的一条，对 Apache 软件基金会项目来说，一个健康的社区比高质量的代码具有更高优先级，拥有强大的社区可以修复纠正代码层面的问题，这也是 Pulsar 努力构建持续活跃社区的原因所在。

CSDN： Pulsar 作为下一代云原生消息和流平台，在云原生方面有哪些优势和具体支持？

翟佳： 我从四个方面来谈谈 Pulsar 在云原生方面的优势与支持情况。

在资源池化方面，Apache Pulsar 由于存储计算分离以及节点对等的架构，可以支持千级节点规模的服务集群和存储集群。单一大集群的能力结合 Pulsar 原生的多租户管理，可以让管理者把 Pulsar 作为一个大规模的消息服务资源池，消费者按需消费。

在资源生态化方面，Pulsar 对 Topic 在逻辑分区之上进行物理分片的存储模式，在存储层很自然地做分层处理。这样在云上和云上的存储资源很好的整合，利用分层的存储架构，为批、流计算构建了统一的存储基础。

在轻量级计算方面，Pulsar Functions 的设计和无服务器架构（Serverless）的理念相匹配，同时借助云上的资源调度和管理工具，可以为用户提供便捷、直接的轻量级函数式计算服务。

同时，Pulsar 提供了各种 connector 方便用户连接其他大数据生态，让用户在云上更加便捷地使用 Pulsar 来作为基础消息服务。

CSDN： 如何保持 Pulsar 社区的活跃度？有什么好的方法分享？

翟佳： 保持 Pulsar 社区的活跃与健康成长，是个长期命题。不同阶段有不同的任务和要解决的问题，目前 Pulsar 社区内部的互动相当活跃，接近形成了一个积极互助、自运转的社区。一个活跃的社区，最根本是项目本身功能和特性真正为社区用户带来方便、创造价值、解决大家痛点，否则即使投入再多资源也只能是徒有其表、虚假繁荣。

在方法上，首先公司要认识到和社区之间相辅相成的重要关系。只有公司全力投入社区才能带来社区的信任；有了对社区的信任，用户才会紧紧拥抱社区、不断参与贡献、提出改进；这样公司才能和社区一起不断往前发展。

在技术方面，Pulsar 一直保持版本的快速更新，持续开发与其他开源系统的集成生态，并在社区贡献者的帮助下开发新功能新特性；在社区方面，除了 StreamNative 团队成员，更多的还是众多热爱 Pulsar 的社区成员的参与，很多成员都有对 Pulsar 的线上开发经历，在部署和应用方面拥有丰富的经验，并且很乐意和他人探讨、解决问题。

StreamNative 组织各种活动促进社区的交流与成长：疫情前的线下 Meetup， 疫情期间的线上峰会、社区开发者会议等等。我们近期发起了面向 Apache Pulsar 社区的“社区大使计划”，意在发现、挖掘更多社区愿意贡献的小伙伴，共建更美好的 Pulsar 社区；在文档方面，我们一直在挖掘代表性的用户案例并持续跟进，为社区小伙伴提供参考。我们也一直在补充、完善、改进 Pulsar 技术文档，并鼓励更多贡献者参与文档的建设，让用户的操作、问题破解都有据可依。

关于创业

CSDN： 为什么选择创业？

翟佳： 我和大多数技术人的理想和信念是一样的，相信技术的力量和价值。即使过了“万众创新、大众创业”的激情年代，我和团队伙伴们仍然选择相信“技术改变世界”。

我们 StreamNative 创始团队成员从 Pulsar 和 BookKeeper 项目诞生之初就投入其中，有着近十年的积累。在 Pulsar 和 BookKeeper 历经 Yahoo、Twitter 线上长期的磨砺和迭代的过程中，我们亲身见证经历了 3000+ 节点规模的 Pulsar 存储集群开发、搭建和运维。我们明确体会到 Pulsar 在架构和功能方面的优势，以及与“云原生”方向的契合和一致性。

在众多客户场景的落地案例中，我们看到开发者对 Pulsar 的架构和产品的认可，也使我们坚信 Pulsar 诞生的初衷能够实现，能够解决用户在消息这个场景中的各种痛点。

外加近年来开源商业化模式不断成熟，在 Spark、MongoDB、ElasticSearch、TiDB 等开源项目背后都有商业公司在崛起，我们认为 Pulsar 和 StreamNative 有同样的机会。

CSDN： 现在 StreamNative 有多少人？研发占比多少？研发团队的技术文化是什么？

翟佳： 我们有中美两个团队，现在有越来越多的优秀小伙伴加入进来。目前团队规模超过35人，其中工程师占比 80% 左右。和比较成熟稳定的团队相比，我们仍处在快速发育阶段。

公司以 OKR 为衡量标准，支持弹性办公、全员远程办公，国内小伙伴分布在北京、上海、杭州、天津等地，大家日常借助 Slack、GitHub、Zoom 及 Google 等优秀的线上协作工具进行沟通与协作，提倡异步沟通，追求沟通与解决问题的最高效率。团队小伙伴都有着丰富的软件开发与开源项目贡献经历，自驱力比较强，大家对开源精神、敏捷文化和结果导向都高度认同，研发团队是扁平的典型的工程师文化。

CSDN： 2021年，对 Pulsar 和 StreamNative 的计划有哪些？

翟佳： 我们对 2021 年充满了期待。在 Apache Pulsar 社区与生态方面：

• 我们计划在 2021 年第一季度迎来 Pulsar 2.8.0 大版本的发布，届时将有更多重磅功能推出；也联合社区贡献者不断增加更多功能特性，增强与其他开源大数据生态系统的融合；
• 我们将继续在全球丰富 Pulsar 社区年度峰会举办的地区，随着疫情的改善我们也将组织国内更多城市的 Pulsar 线下活动，并积极与其他开源社区互动；
• 我们将持续构建健康、多元和具有活力的 Pulsar 社区，增强社区内部的互动。通过大使计划、社区开发者会议等更多的形式增强社区的活力，让更多的贡献者通过多样的形式参与 Pulsar 的构建；
• 我们将投入更多精力在 Pulsar 中文社区的建设与完善上，并不断改善并加强多种语言的 Pulsar 文档建设；
• 随着越来越多用户对 Pulsar 的关注，我们会提供更多的 Workshop 和培训，引领大家开始脉动之旅。

在对 StreamNative 计划中，我们将继续完善 StreamNative 的云产品，支持将 Pulsar 部署在更多的国内外云服务厂商，以及私有云混合云的环境中，优化产品体验，并继续保持与社区的全力投入，促进 Pulsar 社区发展。除此之外，随着众多欧美付费客户的增多，团队的规模也在不断壮大，我们正在吸纳各方面人才，也欢迎更多志同道合的小伙伴加入我们。

交易担保 CSDN CSDN小程序来啦！ Mini Program

更多阅读推荐