kafka源码解读

Posted 2020-12-12 ruanjianwei

------------恢复内容开始------------

kafka源码解读

一. 概述

1.前言

在大数据的场景里面如何应对数据激增，数据复杂度增加以及数据变化速率变快，这都是体现了大

数据架构师，Java架构师的功力。而Kafka能很好的解决这些问题。

Kafka的源码是众多开源的技术里面代码质量比较高的一个，所以本身研究它的源码就比较有观赏

性。

在众多大数据技术里面，Kafka是难度较大的一个技术。

价格是价值的货币表现形式。

二 .Kafka源码需要储备什么知识？

Java IO，多线程知识，Java并发

一点Scala

Kafka基础知识

三.本次源码解读需要获得的

理论的层面：

（1）分布式系统源码阅读方式

（2）分布式消息系统的架构设计原理（高并发，高可用，高性能）

技术的层面：

（1）Kafka客户端发送消息的核心流程

（2）Kafka客户端内存池的架构设计

（3）Kafka客户端的容错设计

（4）Kafka支持超高并发的网络架构设计

（5）Kafka高性能，高并发，高可用的架构设计原理

（6）Kafka副本同步机制原理

（7）Kafka元数据核心管理流程

四.生产者发送消息流程回顾

五.元数据

1.元数据信息关系

2.Producer核心流程深度剖析剖析

3.元数据加载流程剖析

4.RecordAccumulator原理

5.内存池设计原理

 

------------恢复内容结束------------