Apache博客｜25 亿条/秒消息处理！Flink 又双叒叕被 Apache 官方提名

Posted HBase技术社区

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Apache博客｜25 亿条/秒消息处理！Flink 又双叒叕被 Apache 官方提名相关的知识，希望对你有一定的参考价值。

摘要： Apache Flink 作为公认的新一代开源大数据计算引擎，可以支持流处理、批处理和机器学习等多种计算形态，也是 Apache 软件基金会和 GitHub 社区最为活跃的项目之一。

3 月 26 日，Apache 官方博客宣布其成立 21 周年，博客中对 Apache 之道、Apache 大型项目的应用以及 Apache 基金会里程碑事件进行了盘点。其中 Apache Flink 在 2019 年阿里巴巴双 11 场景中突破实时计算消息处理峰值达到 25 亿条/秒的记录被 Apache 官方博客收录。

随着 Flink 1.10 版本的发布，Blink 合并的正式完成，Flink 作业的整体性能及稳定性有了显著优化，越来越多的企业开始采用 Flink 用于生产环境。相信 Flink 的整体性能将随着社区发展、生态的完善不断取得新突破。

▼ 以下为博客原文翻译 ▼

2020 年 3 月 26 日，Apache 基金会（ASF）的全部志愿者、管理者以及孵化的 350 多个开源项目宣布其成立 21 周年。
 
为了履行为公众提供软件的使命，ASF 的志愿者社区从最初的 21 个负责 Apache HTTP 服务器研发的成员发展到 765 个成员、206 个 Apache 项目管理委员会和 7600 多位负责 300 个项目的提交者管理着 2 亿多行 Apache 代码（价值超过 200 亿美元）。
 
Apache 的突破性技术涉及现代计算的各个方面，为互联网提供大量支持，管理 EB 级数据，执行数兆次运算，并且几乎在每个行业中存储数万亿个对象。Apache 项目都是 100% 免费提供的，并且没有许可费用。
 
“在过去的二十年中，Apache 软件基金会一直是值得信赖的、以供应商为中心，社区主导的协作之家，” Apache 软件基金会执行副总裁 David Nalley 如是说。“如今，ASF 成为开源的先锋，孵化大大小小的项目，拥有世界一流的创新模式。”
 

Apache 之道

 
作为社区主导的组织，ASF 严格保持中立。它的独立性确保任何组织包括 ASF 发起人和为 Apache 项目贡献的组织都不能控制项目的方向或拥有任何特殊特权。
 
ASF 以社区为中心的开发过程称为“Apache 之道”，它指导现有项目及其社区，并继续激励来自世界各地的新一代创新。Apache 之道体现在：
 
  • 获得的权力：所有个人都有机会参与社区，比如对社区的贡献。
  • 同类社区：个人参加 ASF 获得的荣誉是永久的，并且不受就业情况或雇主的约束。
  • 开放式交流：与代码和决策制定有关的所有交流都可以公开访问，以确保 ASF 在全球分布的社区内可以异步协作。
  • 共识决策：Apache 项目由一支积极参与各自项目的自选志愿者组成的团队进行监督。
  • 负责任的监督：ASF 治理模式基于信任和委托监督。
 
Apache 之道一直是协作计算的先驱，并直接影响了将源代码和开放开发原则应用于组织内部的方法。Apache 之道已被无数组织采用，包括 Capital One、Comcast、爱立信、HP、IBM、Google、Microsoft、PayPal、SAP、T-Mobile 和许多其他组织。
 
ASF 对社区的关注与 Apache 精神息息相关， “社区高于代码”是坚定不移的宗旨。充满活力、多样化的社区可以使代码保持活力，但是，无论代码多好，如果没有社区的支持，代码就无法蓬勃生长。Apache 社区的成员在即将发行的 ASF 纪录片中分享了他们对“Why Apache”的看法。

ASF 纪录片：
https://s.apache.org/Trillions-teaser


Apache 大型项目应用

 
数十个企业级 Apache 项目定义了行业，并广泛应用于人工智能、深度学习、大数据、构建管理、云计算、内容管理、DevOps、IoT 和边缘计算、移动、服务器和 Web 框架等领域。没有其他软件基金会可以为如此广泛的项目提供服务。“由 Apache 提供支持”的应用程序示例包括：
 
  • 中国第二大快递公司 SF Express，在 COVID-19 冠状病毒期间使用 Apache SkyWalking 在全球范围内进行运输；
  • Apache Guacamole 的无客户端远程桌面网关可帮助全球成千上万的个人、企业和大学在家中安全地工作，而无需绑定到特定的设备、VPN 或客户端；

  • 阿里巴巴使用 Apache Flink 用于实时大屏和实时推荐，每秒消息处理超过 25 亿条；

  • 欧洲航天局的木星航天器任务控制系统由 Apache Karaf、Apache Maven 和 Apache Groovy 提供支持；
  • 英国政府通信总部（GCHQ）的应用程序 Gaffer 使用 Apache Accumulo、Apache HBase 和 Apache Parquet 存储和管理 PB 级数据。
  • Netflix 使用 Apache Druid 管理其 1.5 万亿行数据仓库，以管理用户跨平台点击 Netflix 图标或从浏览器登录时看到的内容。
  • Uber 使用 Apache Hudi（孵化中）管理超过 100PB 数据的近实时数据湖，支持了从数仓到机器学习的所有功能；
  • 波士顿儿童医院使用 Apache cTAKES 将电子健康记录中的表型和基因组数据链接起来，以实现精确的健康发现；
  • 亚马逊、DataStax、IBM、微软、Neo4j、NBC Universal 和许多其他公司使用 Apache Tinkerpop 图形数据库中并编写复杂的遍历。
  • 全球生物多样性信息基金使用 Apache Beam、Hadoop、HBase、Lucene、Spark 等工具整合了近 1600 个机构、一百多万个生物多样性数据和近 1.4 亿个位置记录，供研究免费使用；
  • 欧盟委员会使用 Apache Camel 开发了新的 API 网关基础架构；
  • 中国电信公司翼支付使用 Apache ShardingSphere（孵化中）为分布在 30 多个应用程序中的移动支付扩展到 100 亿个数据集；
  • 苹果的 Siri 使用 Apache HBase 在 10 秒内完成全环复制；
  • 美国海军使用 Apache Rya 为智能无人机、自主小型机器人群、载人无人团队高级战术通信等提供动力；
  • 全世界数以亿计的网站都是由 Apache HTTP 服务器提供支持。
 

其他里程碑

 
除了 ASF 的 21 周年纪念，Apache 社区还庆祝以下项目的里程碑纪念日：
 

  • 25 周年 - Apache HTTP Server

  • 21 周年 - Apache OpenOffice (at the ASF since 2011)

  • 20 周年 - Apache mod_perl, Tcl, APR/Portable Runtime, Subversion (at the ASF since 2009)

  • 18 周年 - Apache DB, Incubator, Ant

  • 17 周年 - Apache Cocoon, James, Web Services, Maven, Logging Services

  • 16 周年 - Apache Gump, Portals, Struts, Geronimo, SpamAssassin, Xalan, XML Graphics

  • 15 周年 - Apache Lucene, Directory, MyFaces, Xerces, Tomcat


点击「 阅读原文 」可查看原版博客～


关注 Flink 中文社区，获取更多技术干货

你也「 在看 」吗？

以上是关于Apache博客｜25 亿条/秒消息处理！Flink 又双叒叕被 Apache 官方提名的主要内容，如果未能解决你的问题，请参考以下文章

40亿条/秒！Flink流批一体在阿里双11首次落地的背后

架构|如何以1美元使用NettyAkka和Cassandra将服务器性能提高到每小时处理1亿条消息

新浪是如何分析处理32亿条实时日志的？

Scala 基础函数

从 Hive 元存储（parquet 格式）在 Spark 中本地处理 10 亿条记录需要 6 个小时。如何加快速度？

使用 Kafka 处理大消息