什么是Kafka？

Posted 2021-05-02 西安优盛数据库与大数据

点击标题下「蓝色微信名」可快速关注

什么是Kafka？

Kafka的增长是爆炸性的。财富500强企业中超过三分之一使用卡夫卡。这些公司包括十大旅游公司，十大银行中的七家，十大保险公司中的八家，十大电信公司中的九家，等等。LinkedIn，微软（Microsoft）和Netflix每天用Kafka处理一兆（1,000,000,000,000）的信息。Kafka用于实时数据流，收集大数据，或做实时分析（或两者兼而有之）。Kafka与内存中的微服务一起使用以提供耐用性，并且可以用于向CEP（复杂事件流式传输系统）和IoT / IFTTT式自动化系统提供事件。

为什么选择Kafka？

Kafka通常用于实时流式数据体系结构以提供实时分析。由于Kafka是一个快速，可扩展，耐用和容错的发布、订阅消息传递系统，Kafka被用于JMS，RabbitMQ和AMQP可能因为数量和响应速度而不被考虑的情况。Kafka具有更高的吞吐量，可靠性和复制特性，使其适用于跟踪服务呼叫（跟踪每个呼叫）或跟踪传统MOM可能不被考虑的物联网传感器数据。

Kafka可以与Flume / Flafka，Spark Streaming，Storm，HBase，Flink和Spark一起工作，以实时接收，分析和处理流数据。Kafka是用于提供Hadoop大数据湖泊的数据流。 Kafka代理支持在Hadoop或Spark中进行低延迟后续分析的大量消息流。此外，Kafka流媒体（一个子项目）可用于实时分析。

Kafka的用例

简而言之，卡夫卡用于流处理，网站活动跟踪，度量收集和监控，日志聚合，实时分析，CEP，将数据导入到Spark中，将数据导入到Hadoop，CQRS，重播消息，错误恢复，并保证内存计算（微服务）的分布式提交日志。

谁使用Kafka?

许多处理大量数据的大公司使用Kafka。 LinkedIn起源于它，用它来跟踪活动数据和运营指标。Twitter使用它作为Storm的一部分来提供流处理基础设施。Square使用Kafka作为公共汽车，将所有系统事件转移到各种Square数据中心（日志，自定义事件，度量标准等），输出到Splunk，Graphite（仪表板）以及Esper-like / CEP警报系统。Spotify，Uber，Tumbler，Goldman Sachs，PayPal，Box，Cisco，CloudFlare和Netflix等公司也使用这种方法。

为什么Kafka如此受欢迎?

Kafka的操作简单。建立和使用Kafka后，很容易明白Kafka是如何工作的。 然而，Kafka很受欢迎的主要原因是它的出色表现。它是稳定的，提供可靠的持久性，具有灵活的发布 - 订阅/队列，可与N个消费者群体进行良好扩展，具有强大的复制功能，为制作者提供可调整的一致性保证，并在碎片级别提供保留排序（即Kafka 主题分区）。此外，Kafka可以很好地处理有数据流处理的系统，并使这些系统能够聚合，转换并加载到其他商店。 但是，如果Kafka速度缓慢，那么这些特点都不重要。 Kafka最受欢迎的原因是Kafka的出色表现。

为什么Kafka如此快？

Kafka非常依赖OS内核来快速移动数据。它依靠零拷贝的原则。Kafka使您能够将数据记录批量分块。这些批次的数据可以从生产者到文件系统（Kafka主题日志）到消费者端到端地看到。批处理允许更高效的数据压缩并减少I / O延迟。Kafka写入不可变的提交日志到磁盘顺序，从而避免随机磁盘访问和慢磁盘寻找。Kafka通过分片提供了横向扩展。它将一个主题日志分成数百个（可能是数千个）分区到数千个服务器。这个分解允许Kafka处理巨大的负载。