官宣：计算中间件 Apache Linkis 正式毕业成为 Apache 顶级项目

Posted 2023-02-16 过往记忆

Apache 软件基金会（ASF）孵化器于2022年12月03日，通过了 Apache Linkis 计算中间件项目的孵化毕业投票。2023年01月18日，Apache 软件基金会官方宣布 Apache Linkis 顺利毕业，成为 Apache 顶级项目（TLP）。

以上截图来自 Apache 官网

原文链接：https://news.apache.org/foundation/entry/the-apache-software-foundation-announces-apache-linkis-as-a-top-level-project

一、关于 Apache Linkis

Apache Linkis 计算中间件项目，是由微众银行大数据平台团队在2019年7月进行开源，并于2021年8月正式捐献给全球顶级开源社区 Apache 软件基金会（ASF），成为 ASF 孵化项目，在2022年12月03日通过孵化毕业投票。

Apache Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用 Linkis 提供的 REST/JDBC/Shell 等标准接口，上层应用可以方便地连接访问 mysql/Spark/Hive/Trino/Flink 等底层引擎，同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通，以及通过 REST 标准接口提供了数据源管理和数据源对应的元数据查询服务。作为计算中间件，Linkis 提供了强大的连通、复用、编排、扩展和治理管控能力。通过计算中间件将应用层和引擎层解耦，简化了复杂的网络调用关系，降低了整体复杂度，同时节约了整体开发和维护成本。

自开源以来，开源社区群用户总数超 7600人，沙箱累计试用公司超 2600家，收到超过 110家企业已投入生产的反馈，生产环境支撑的数据量超 400PB，生产服务的用户超 5000人，涉及金融、电信、制造、互联网等多个行业。许多公司已经用 Linkis 来解决大数据平台连通、扩展、管控、编排等计算治理问题。

在一年多的孵化期间，Apache Linkis 由社区开发者主导发布了7个 Apache 版本，平均约两个月就会发布一个版本；新加入了4个 PPMC成员 和13个 Committers，来自不同的公司和团队，贡献人数达到127人。Apache Linkis 社区各项指标发展良好，项目已经趋于成熟， Apache Linkis 顺利通过 ASF 孵化器项目管理委员会的毕业评估和投票，并得到ASF董事会批准，毕业晋升为 Apache 基金会顶级项目。

二、Apache Linkis 的核心功能点以及 Roadmap

通过使用 Linkis，上层应用工具如批量系统可以把 Linkis 作为统一的网关或者 JobServer 来提交批量任务；数据分析工具可以利用 Linkis 的交互式任务的能力实时获取日志、结果集、进度信息等能力。集成了 Linkis 的工具可以做到互联互通，在不同的工具中可以使用同一个定义的 UDF、数据源、物料等。

接入了 Linkis 的上层应用工具都可以拥有以下核心功能特性：

• 丰富的底层计算存储引擎支持：Spark、Hive、Flink、Python、Sqoop、OpenLooKeng、Presto、Trino、ElasticSearch、JDBC、SeaTunnel 和 Shell 等；

• 丰富的语言支持：SparkSQL、HiveQL、Python、Shell、Pyspark、Scala、JSON 和 JAVA 等；

• 强大的计算治理能力：能够提供基于多级标签的任务路由、负载均衡、多租户、流量控制、资源控制等能力；

• 全栈计算存储引擎架构支持：能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和数据湖任务；

• 统一上下文服务：支持跨用户、系统、计算引擎去关联管理用户和系统的资源文件（JAR、ZIP、Properties 等），结果集、参数变量、函数、UDF 等，一处设置，处处自动引用；

• 统一物料：提供了系统和用户级物料管理，可分享和流转，跨用户、跨系统共享物料；

• 统一数据源管理：提供了 Hive、ElasticSearch、Mysql、Kafka、MongoDB 等类型数据源信息的增删查改、版本控制、连接测试和对应数据源的元数据信息查询能力；

• 错误码能力：提供了任务常见错误的错误码和解决方案，方便用户自助定位问题；

从孵化器毕业也证明了 Linkis 项目和社区进一步走向成熟，但是要成为一个世界顶级的计算中间件项目还有很多的事情要做。Linkis 社区整理了一份 Roadmap ，欢迎大家参与一起贡献。部分重大特性如下：

三、Apache Linkis 生态

Linkis 作为计算中间件，也积极推动与多个开源社区的项目进行集成，以丰富 Linkis 的生态。下图是部分已经与 Linkis 集成的开源项目，涵盖了数据分析、工作流、数据交换、数据质量、机器学习、以及常用的计算和存储引擎等。上层应用工具通过 Linkis 提交和管理各类引擎的任务，把 Linkis 当成了一个开发基座。极大地降低了上层应用工具在连通、扩展、管控等计算治理方面的开发工作量，让上层应用工具只需专注于其自身的功能性需求。

未来我们也将进一步引导和推动更多的上层工具系统和底层引擎，去与 Linkis 对接集成，丰富 Linkis 的生态。欢迎越来越多的项目参与其中。

四、毕业寄语（按姓氏首字母排序）

恭喜 Apache Linkis 顺利毕业！一路走来，我有幸见证了 Linkis 社区的发展壮大，在开源大数据领域的影响力也与日俱增。希望 Apache Linkis 未来发展得越来越好，成为更有影响力的世界级开源项目！

堵俊平

Apache Linkis Champion

Apache 软件基金会 Member

开放原子开源基金会TOC 主席

---

Linkis 社区发展的非常繁荣，恭喜 Linkis 顺利从 Apache 孵化器毕业成为顶级项目，作为大数据领域优秀的计算中间件, Linkis 使得用户可以更加方便的通过 REST/JDBC 等标准接口来访问 Spark、Flink 等底层引擎。毕业是一段新旅程的开始，期待 Linkis 能发展得更好！

代立冬

Apache Linkis Mentor

Apache 软件基金会 Member

Apache DolphinScheduler PMC Chair

---

感谢社区每一位成员的热情和贡献！我们通过对 "Apache Way" 的持续践行，形成了一个多样、有序，且能够推动项目不断进化的、富有生命力的社区。毕业只是新征程的开始，期待与大家一起，继续增强 Linkis 在连通、管控、编排、复用等数据平台计算治理方面能力，让大数据变得更简单。

邸帅

Apache Linkis PMC Chair

微众银行大数据平台负责人

---

祝贺 Apache Linkis 从 ASF 孵化器中毕业成为 Apache 顶级项目。作为 Apache 孵化器导师，非常高兴能够看到 Apache Linkis 能够依托项目用户和开发者构建起健康发展的社群，并很好地践行 Apache Way。祝愿 Apache Linkis 茁壮成长，并与其他 Apache 大数据项目一同打造更加繁荣的开源大数据技术生态！

姜宁

Apache 软件基金会董事

Apache ServiceComb PMC Chair

---

很高兴看到，从微众蹒跚起步的计算中间件 Linkis，能够通过开源，在 Apache Way 的指引和社区伙伴的共同培育下快速成长，走进各行各业，服务千百企业，并顺利毕业成为 Apache 顶级项目。期望 Linkis 能够继续茁壮成长，在大数据开源领域能够发挥更大的价值。也期待更多的社区伙伴的参与，并涌现出更多优秀的开源项目，为基础软件开源的发展继续添砖加瓦。

卢道和

微众银行基础科技产品部负责人

---

恭贺 Apache Linkis 在 2022 年终岁末时，为源自中国的 Apache 顶级项目再添一员强将（总共 20 个项目）。祝愿 Apache Linkis 计算治理的征程顺利开展，兼容并蓄的社区持续拓展！

刘天栋

Apache 软件基金会 Member

开源社联合创始人

---

衷心祝贺 Linkis 成功从 Apache 孵化器中毕业，成为 Apache 顶级项目。作为微众银行主导开源和捐赠的优秀项目，计算中间件 Apache Linkis 经过金融级生产环境的持续打磨，和社区各行业贡献者的共同建设完善，已成为解决大数据平台计算治理问题的利器。未来，微众银行将一如既往支持开源社区建设，助力我国为全球基础软件的发展贡献关键力量。

马智涛

微众银行副行长兼首席信息官

---

作为 Apache Linkis 的重度用户，非常高兴看到它从 Apache 毕业，在这里表示由衷的祝福。我们从2020年开始关注并尝试在业务上使用它，目前已将大部分底层业务迁移到 Linkis 上管理。在此过程中得到了社区伙伴给予的大力支持，也贡献了自己的一份力量。毕业不是结束，是新的开始，还有很多工作等着我们去做。希望未来和社区伙伴一起将 Apache Linkis 做得更强大更完善。

聂磊

Apache Linkis Contributor

理想汽车大数据架构师

---

Apache Linkis 是2019年由微众银行开源并贡献给 Apache 软件基金会的一个大数据项目，Linkis 自开源之后，在业界引起了广泛关注。更难能可贵的是，围绕 Linkis 项目而形成的开发者社区非常活跃，目前已经有 23 位项目管理委员会成员、33 位代码 Committer 及超过127 位 Contributor，他们来自不同的地区和组织，自发地参与在项目中开发新特性、回答用户问题、修复 bug、发布版本等，呈现出良好的多样性和可持续性。在 2022 年 12月，Linkis 项目通过了 Apache 孵化器的项目成熟度评估以及投票，毕业成为又一个 Apache 顶级项目。对 Linkis 来说，毕业不是终点，而只是一个里程碑。在 2023 年，希望 Linkis 社区能够继续秉承 The Apache Way 的理念，以 Community Over Code 的精神吸纳更多的用户和开发者，持续发展和壮大开源软件项目，使其最终能够惠及更多企业和个人用户。

史少锋

Apache Linkis Mentor

Apache 软件基金会 Member

Apache Kylin PMC Chair

---

很高兴看到微众银行捐献给 Apache 开源软件基金会的 Linkis 项目毕业成为 Apache 基金会的顶级项目。这证明项目发起人充分理解 Apache 基金会的价值观 Community Over Code，并遵循 Apache 社区的开放、透明、贤能治理的规则进行长期运作，社区成熟度得到了 Apache 软件基金会孵化委员会的一致认可。恭喜 Linkis 项目和团队，给大数据技术生态提供了一个值得长期信任的好项目，通过计算中间件将应用层和引擎层解耦，使得上层大数据应用编写更简单，更快速。

谭中意

Apache 软件基金会 Member

中国开源推进联盟副秘书

开放原子开源基金会 TOC 副主席

---

热烈庆祝 Linkis 从 Apache 孵化器毕业！Liniks 是一个 Hadoop 及相关生态圈“数据库”的计算中间件，是一个非常有意思而且很有价值的项目，在此，衷心祝愿 Apache LInkis 项目和社区发展越来越好！

王华磊

Apache Linkis Contributor

邮储银行数据管理部副主任工程师

---

作为 Linkis 的用户和开发者，非常荣幸见证了 Linkis 从开源，到 Apache 孵化，再到最终的毕业，真的很不容易，也见证了中国开源力量的崛起。随着越来越多小伙伴的贡献， Linkis 已经越来越标准稳定了，期待更多小伙伴们加入有爱的 Linkis 社区，一起将社区建设得更好。

王小刚

Apache Linkis PMC Member

天翼云 大数据开发工程师

---

作为项目的 Mentor，非常高兴看到 Apache Linkis 成功毕业，成为 Apache 顶级项目。Apache Linkis 的社区非常活跃，在孵化期间，始终维持着两个月一次的发版节奏，这在所有孵化项目中都非常难得，说明项目的参与人员都很活跃，且尽职尽责。祝 Apache Linkis 项目未来越来越好！

张铎

Apache Linkis Mentor

Apache 软件基金会Member

Apache HBase PMC Chair

---

恭喜 Apache Linkis 从 Apache 毕业！我们从2021年开始关注并尝试应用于某些业务上，目前已有部分业务运行于 Linkis 上，现正着手于其它业务的迁移工作。非常感谢社区各位伙伴的耐心和帮助！成为顶级项目并不是结束，而是一个开始，衷心希望 Linkis 在未来得到更好的发展，并且帮助到更多的企业去构建大数据平台。

张华金

Apache Linkis PMC Member

广州银行信用卡中心高级需求分析师

---

作为 Apache Linkis 最早投入到生产环境的忠实用户和开发者，非常开心见证了 Linkis 一步一步发展壮大，很荣幸能够为社区贡献一点绵薄之力。祝愿 Apache Linkis 社区发展越来越好，为大数据平台化贡献更大的价值，希望大家参与进来一起将 Linkis 建设得更好！

朱辉

Apache Linkis PMC Member

BOSS直聘数据中台负责人

---

祝贺 Linkis 经过16个月的孵化，顺利从 Apache 孵化器毕业成为顶级项目。在孵化过程中，Linkis 社区始终遵循 Apache Way，采用开放、透明、包容的治理体系，建立了非常繁荣且多元化的开源社区。祝贺 Linkis 社区所有的贡献者和参与者，也祝愿 Linkis 开源项目能够发展越来越好！

钟燕清

微众银行开源管理办公室负责人

五、期待你的加入

从 Apache 孵化器毕业只是一个开始，对于成为真正的顶级开源项目只是迈出了第一步。Linkis 社区将继续践行 Apache 的开源文化主旨，打造一个更加协作、开放、多元的社区。欢迎更多的组织和个人参与到 Apache Linkis 的建设中来，促进 Linkis 社区持续健康地发展。

六、Apache Linkis 官方链接

官网主页：

https://linkis.apache.org/

仓库地址：

https://github.com/apache/linkis

订阅Linkis邮件列表：[e-mail]（发送任意内容到邮箱后，根据回复以订阅邮件列表 ）