分布式流处理服务—Apache Kafka

Posted 2022-05-11 ༄༊星河༣

分布式流处理服务—Apache Kafka

• • • 前言
    • 初识Kafka
    • Kafka的安装与部署
    • Kafka的基础API
    • Kafka API的高级特性
    • Kafka 架构进阶

前言

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以收集并处理用户在网站中的所有动作流数据以及物联网设备的采用信息。

初识Kafka

• Kafka&MQ场景
• Kafka架构刨析

Kafka的安装与部署

• 单机/集群环境搭建
• 常见脚本命令使用

Kafka的基础API

• topic的基本操作
• 生产者/消费者代码
• 消息的序列化
• 自定义分区策略

Kafka API的高级特性

• 消息拦截器
• 偏移量控制
• 幂等性&事务控制

Kafka 架构进阶

• Kafka数据同步机制
• Kafka eagle监控
• Flume和Kafka Sink集成
• Spring Boot集成Kafka