3个离不开Apache Kafka的行业

Posted 2021-04-20 海牛大数据

海牛学院的 | 第 565 期

本文预计阅读 | 5分钟

Apache Kafka是一个分布式的发布：订阅消息传递系统，旨在实现快速、可伸缩和持久的功能，它提供了一个统一的高吞吐量，低延迟的平台来处理实时数据馈送，并具有一个存储层，该存储层本质上是一个大规模可扩展的发布/订阅消息队列，被构造为分布式事务日志。这种架构使Kafka最初由LinkedIn开发，并于2011年初开源，对于企业基础架构处理流数据而言非常有价值。

最初，Kafka旨在用于网站活动跟踪捕获网站上的所有点击、操作和输入，并使多个“消费者”可以订阅该信息的实时更新。但是现在，互联网服务、金融服务、娱乐和其他行业的公司已经改编了Kafka的大规模可扩展架构，并将其应用于有价值的业务数据。

Kafka允许来自这些垂直领域的企业掌握公司中发生的一切，并将其转换为多个业务部门可以订阅和分析的实时数据流。对于这些公司而言，Kafka可以替代传统的数据存储，而这些传统的数据存储被隔离到单个业务部门，并且可以作为一种简便的方法统一来自所有不同系统的数据。

Kafka已经完全超越了IT运营数据，现还用于处理与消费者交易、金融市场和客户有关的数据，以下是3个不同行业对Kafka的使用方式：

互联网服务

以这种方式使用Kafka的好处是，IT平台可以为消费者执行一项操作（激活服务），并将数据传递到分析应用程序，以便ISP可以按地理区域，激活率等来分析激活。

在使用Kafka之前，将数据捕获并路由到多个部门需要工程，商业智能以及用于复制数据的单独管道。现在，Kafka成为唯一的事实来源，不仅可以捕获有关应用程序正在发生的事情的数据，而且还可以捕获客户正在发生的事情的数据。

金融服务

全球金融服务公司需要分析数十亿的日常交易，以寻找市场趋势，并紧跟金融市场快速频繁变化的趋势。过去，一家公司通过在收市后从多个业务部门收集数据，将其发送到广阔的数据湖，然后对捕获的数据进行分析来做到这一点。

为了从被动方法转变为对传入的市场数据进行实时分析，Kafka充当消息传递代理，以存储运营数据和其他与市场相关的金融数据。现在，公司的分析师不必分析事后的运作数据，而是可以实时掌握市场的运行状况并做出相应的决策。

高盛（Goldman Sachs）是一家使用卡夫卡（Kafka）的金融公司的例子，该公司领导了Symphony的开发，这是一项行业计划，旨在为即时通讯和内容共享构建基于云的平台，从而安全地连接市场参与者。它基于经济高效，可扩展且可定制以适合最终用户需求的开源业务模型。

娱乐

具有行业领先游戏平台的娱乐公司必须每天实时处理数百万笔交易，并确保消息的丢弃率非常低。过去，它使用功能强大的开源处理引擎Apache Spark和Hadoop，但最近改用了Kafka。

有趣的是，该公司将Kafka用作此数据的保险单，因为只要公司需要，Kafka就会以可读格式安全地存储数据。这使公司既可以通过简化的架构路由消息，又可以通过Kafka存储数据。如果发生灾难或严重错误，它可以恢复数据并进行故障排除。

Netflix  使用Kafka作为所有应用程序数据收集的网关，每天需要处理数千亿条消息。例如，它使用Kafka进行统一的事件发布，收集，用于批处理和流处理的路由以及临时消息传递。

在云和本地环境中，Kafka已经超越了其最初的网站活动跟踪功能，已成为一种行业标准，为各种行业的公司提供了可靠，简化的消息传递解决方案。

---

加群扫码 ↓ 备注 “ 进群 ” （广告勿扰）

【海牛大数据交流群】

 唔~要这个 ↓↓↓