kafka介绍

Posted 2021-10-29 yin-fei

kakfa:

1.简介

1.定义：
kafka是一个分布式、支持分区(paritition)、多副本的，基于zookeeper协调的分布式消息系统

2.能做什么
可以实时的处理大量数据，满足各种场景需求。hadoop批处理，spark/storm流式处理等

3.kafka的特性：
3.1 高吞吐、低延迟
    kafka每秒可以处理几十万的消息,延迟最低只有几毫秒
    每个topic可以分多个partition，consumer group对partition进行consume操作
3.2 可扩展性
    kafka集群支持热扩展
3.3 持久性、可靠性
    消息被持久化到本地磁盘，并且支持数据备份防止数据丢失
3.4 容错性
    允许集群中节点失败(如果副本数n,允许n-1个节点失败)
3.5 高并发
    支持数千个客户端同时读写

4.使用场景
4.1 日志收集
4.2 消息系统
4.3 流式处理    

5.流程
producers 往brokers里面的指定topic写消息
consumer  从brokers里面拉取指定topic的消息进行业务处理

2.生产

 

 

3.消费