kafka初步学习

Posted 2021-01-18 zhangrw

消息系统

什么是消息系统？

消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，但不担心如何共享它。分布式消息传递给予可靠消息队列的概念。消息在客户端应用程序和消息传递系统之间异步排队。

有俩种类型的消息模式可以使用：一种是点对点，另一种是发布-订阅（pub-sub）消息系统。

大多数消息模式遵循pub-sub

点对点消息系统

      点对点系统中，消息被保留在队列中。一个或多个消费者可以消费队列中的消息，但是特定消息只能由最多一个消费者消费。一旦消费者读取队列中的消息，它就从该队列中消失（如果没有消费者呢？）。该系统的典型示例是订单处理系统，其中每个订单将由一个订单处理系统处理，但多个订单处理器也可以同时工作。

发布—订阅消息系统

发布—订阅消息系统中，消息被保留在主题中。与点对点消息系统不同的是，消费者可以订阅一个或多个主题并使用该主题中的所有消息。在发布—订阅消息系统中，消息生产者被称为发布者，消息使用者被称为订阅者。一个现实生活中的例子是电视，它发布不同的渠道，如运动，电影，音乐等，任何人都可以订阅自己的频道集，并获得他们的订阅时可用。

如果订阅者过多的消息队列会发生什么？

消息系统的应用场景

1.应用解耦

2.流量削峰

3.消息通讯

kafka

什么是kafka？

kafka是最初由Linkedin公司开发的，使用Scala语言编写，分布式的、分区的、多副本的、多订阅者的日志系统（分布式MQ系统），可以用于web/nginx日志，搜索日志，监控日志，访问日志等。

kafka目前支持多种客户端语言：java、python、c++、php等等。

Apache Kafka是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。kafka适合离线和在线消息消费。kafka消息保留在磁盘上，并在群集内复制以防数据丢失。Kafka构建在ZooKeeper同步服务之上。它与Apache Storm和Spark非常好的集成，用于实时流式数据分析。

kafka的好处

可靠性 - Kafka是分布式的，分区，复制和容错的。

可扩展性 - Kafka消息传递系统轻松缩放，无需停机。

耐用性 - kafkas使用分布式提交日志，这意味着消息会尽可能快的保留在磁盘攀上，因此它是持久的。

性能 - Kafka对于发布和订阅消息都具有高吞吐量。及时存储了许多TB的消息，他也保持稳定的性能。

Kafka非常快，并保证零停机和零数据丢失。

kafka的应用

指标 - Kafka通常用于操作监控数据。这涉及聚合来自分布式应用程序的统计信息，以产生操作数据的集中馈送。

日志聚合解决方案 - Kafka可用于跨组织从多个服务手机日志，形式它们以标准格式给多个服务器。

流处理 - 流行的框架（如S他日吗和Spark Streaming）从主题中读取数据，对其进行处理，并将处理后的数据写入新主题，供用户和应用程序使用。Kafka的强耐久性在流处理的上下文中也非常有用。