Kafka消息队列大数据实战教程-第三篇（Kafka分区和副本的创建）

Posted 2022-12-15 DT辰白

文章目录

• 前言
• 一、为什么要使用分区呢？
• • 1.1 存储角度
  • 1.2 计算角度
• 二、分区的三种规则
• • 2.1 指明partition的情况
  • 2.2 没有指明partition但是有消息key的情况
  • 2.3 既没有指明partition又没有key的情况
• 三、自定义分区策略
• • 3.1 需求：假设发送数据的包含0的发送到0号分区，包含1的发送到1号分区
• 四、生产者如何提高吞吐量
• • 4.1 设置缓冲区大小
  • 4.2 设置批次大小
  • 4.3 设置延迟时间
  • 4.4 设置压缩类型算法
• 五、为什么要使用副本呢？
• 六、分区个数选择
• • 6.1 分区副本分析