（05）kafka以及消息系统的基本介绍

Posted 2021-03-12 javasl

　　1、Kafka简介

　　Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。之后贡献给Apache基金会成为Apache的一个顶级项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。

　　2、举例说明消息系统

　　什么是消息系统，下面以12306网站和电商网站举例说明。

 

 　　12306网站或者电商网站要把消息发送给用户，无论是以短信方式、邮件方式或者其他方式，都会通过某种介质来完成，这种介质就是消息系统。发送消息的网站是生产者，生产者把消息发送给消息系统，消息系统通过自己的服务总线选择发送方式，最终发送给用户。消费消息的某种方式即为消费者。Kafka对应图中的消息系统，Kafka中的Broker就是服务总线。

　　3、消息队列分类：

　　（1）点对点（Queue）

　　消息的生产者将消息发送到queue中，然后消息的消费者从queue中取出消息并且消费，消息被消费后，queue中不再存储，所以消息的消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但对于一个消息而言，只有一个消费者可以消费

　　（2）发布与订阅（Topic）

　　消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到topic的消息会被所有订阅者消费。Kafka处理的是Topic类型的消息

 　　注意：点对点的方式中可以有多个消费者，但是一个消息只能被一个消费者消费。发布与订阅中，消费存在每一个主题中，每个主题中的消息可能被一个或者多个消费者消费。

　　4、Kafka作用

　　监测活动数据，如网站用户相关行为数据（PV，UV等）；监测运营数据，如核心系统性能指标数据（CPU利用率，磁盘利用率，IO使用率等）

　　这些数据的特点：数据不可变，数据量庞大，需实时处理。