Kafka 已站稳了脚跟 ！

Posted 2021-05-02 云头条

数据管道是介绍Apache Kafka使用情况的第三份年度调查的主题。在用户群不断增长的传闻证据背后，Kafka仍然处于早期采用阶段，Kafka技能仍然很难找到。

Apache Kafka是一种开源分布式消息传递系统，它已经牢牢地获得了一席之地，成为横向扩展型环境中用于代理消息的一种事实上的实时标准。Confluent近日刚发布了其第三份介绍Kafka实施情况的年度报告：

该公司的几位创始人开发了Kafka。该报告采集的样本大得多，这暗示Kafka取得了长足发展，同时显示Kafka的使用方式出现了一些不大不小的变化。

市面上还有Kafka之外的替代选择：MapR Streams让你可以在不需要单独的Kafka集体的情况下代理消息，而Amazon Kinesis Firehose之类的数据流服务提供类似的功能。尽管如此，Kafka还是成为了高度分布式、高容量、实时消息队列的事实上的标准，得到了厂商的广泛支持。但是我们在一年前调查Kafka时，发现相关工具仍然很原始。

所以，采用群体仍然基本上局限于早期采用者这个群体也就不足为奇了。调查样本今年扩大了一倍，调查对象达到600个，明显偏向于处于领先位置的企业组织。要举一个例子？78%的调查对象已经在使用微服务架构，其中63%的调查对象使用Kafka来管理那些微服务的状态。在普通企业组织中，你不会发现大多数企业在重新设计应用程序堆栈，以便把功能作为微服务来发布。

所以，样本中最具代表性的行业是通常早期采用的行业：计算机系统、金融服务、媒体和娱乐，这不足为奇。

然而，调查数据清楚地表明了第一代Kafka实施系统的走向。虽然30%的样本处于量最小的一档（每天处理的消息不到100万条），但几乎同样比例的样本声称每天处理的消息多达9900万条。在早期采用者中，相当多一部分正在对Kafka进行压力测试。

60%以上的调查对象在使用Kafka取代传统的消息传递和发布/订阅（PubSub）系统，只有将近一半的调查对象在使用Kafka将抽取、转换和加载（ETL）从批量过程转变成实时过程。

自去年以来，Kafka的使用方式方面出现了一些变化。虽然结果证明今年数据管道（data pipeline）极受欢迎，但去年的主角却是数据流。微服务事件处理今年首次亮相，但并没有出现在去年的调查中。不过今年和去年存在一些相似之处：在这两年，一半调查对象都声称将Kafka用于消息传递，数据流和数据集成紧随其后。

说到借助数据流API充分利用Kafka的数据流功能时，异步应用程序和ETL是两大应用；但作为一种实时流程，令人惊讶的是，样本中只有10%多点的群体在结合使用数据流和物联网。

作为一种集成框架，近一半的调查对象使用Kafka Connect与Elasticsearch集成；其次，大约 25%至30%的调查对象声称连接到PostgreSQL、Hadoop分布式文件系统（HDFS）、Amazon S3和Cassandra。

那么，哪些类型的使用场合最受欢迎？它们因行业而异，这一点也不奇怪。对于电子商务、媒体和娱乐等行业而言，推荐引擎是Kafka最常见的用途，而计算机软硬件公司更有可能将Kafka应用于安全和欺诈检测。这方面让人惊讶的一点是，在Kafka应用的另一个早期温床：金融服务业，安全和欺诈检测居然并不突出；相反，最常见的用途却是“财务数据”这种使用场景，其中最明显的就是实时股票行情自动收录器提要。

超过四分之三的调查对象强调了这一点：对Kafka来说眼下仍处于早期阶段；他们特别指出，Kafka技能还是很难找到。尽管Kafka得到了广泛的行业支持，但是让Kafka从白板阶段进入到生产阶段仍然面临不少障碍。

相关阅读：