KafKa，祝大家新年快乐

Posted 2021-05-02 媛道

Apache kafka是消息中间件的一种,用于构建实时数据管道和流、消息应用程序,具有丰富的技术文档及客户端支持,下面为大家展开说明：

安装与配置

下载：wget http://mirrors.shu.edu.cn/apache/kafka/1.0.1/kafka_2.11-1.0.1.tgz

解压：tar zxvf kafka_2.11-1.0.1.tgz


创建Log目录：mkdir -p /data/kafka/logs

修改配置文件：vim /usr/local/kafka/config/server.properties

修改配置参数：

目录说明

常用命令

名词说明

Topic：Kafka将消息种子(Feed)分门别类，每一类的消息称之为一个主题
Producer：发布消息的对象称之为主题生产者(Kafka topic producer)
Consumer：订阅消息并处理发布的消息的种子的对象称之为主题消费者

Broker：已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器都是一个代理(Broker). 消费者可以订阅一个或多个主题（topic），并从Broker拉数据，从而消费这些已发布的消息，多个Brokder 是对等的.

特性

1.   消息系统之生产模型

   
   a)>>> 支持批量发送：在频繁写入情况下可以批量发送，有两个点控制，一个是延迟时间，一个是消息量
   b)>>> 支持异步发送：不等待服务端响应，提高响应时间，降低了可靠性，可以采用异步阻塞模式
   c)>>> 应答机制(acks)：akcs=0 不应答，acks=1 需要leader 响应，acks=-1 需要leader 和 fllowers 响应，默认是 1；-1情况下高可用，1 的情况下可能会丢失消息

   
   

2. 消息系统之消费模型

   
   

   a)>>> push & pull ：采用 pull  方式，优点是按需获取，不需要时静静等待.另一个则不需要服务的维护消息状态(不用标记那些消费过，哪些未消费)
   b)>>>队列模式：多个消费者读取消息，每条只发给一个消费者
   c)>>>发布订阅模式：多个消费者订阅主题，主题的每条记录会发布给所有的消费者
   d)>>>消费组：队列和发布订阅的集成实现
   e)>>> offset ：消费状态

   
   

   3. 存储系统之分区模式

     
     a)>>>每个消息都对应一个主题(topic) , 一个分区至少有一个topic ，至少有一个 repliac
      b)>>>水平扩展，提升吞吐量

    

     4. 存储系统之分区及副本存储

      5.流处理系统 

       Kafka Streams是一个客户端程序库，用于处理和分析存储在Kafka中的数据，并将得到的数据写回Kafka或发送到外部系统。Kafka Stream基于一个重要的流处理概念.

      6. 分布式

   ZooKeeper用于管理、协调Kafka代理。每个Kafka代理都通过ZooKeeper协调其它Kafka代理。当Kafka系统中新增了代理或者某个代理故障失效时，ZooKeeper服务将通知生产者和消费者。生产者和消费者据此开始与其它代理协调工作.

监控