kafka中的topic为什么要进行分区?

Posted 2021-10-29 李昊轩的博客

像kafka这种高并发构架中核心中的核心, 单机性能肯定是存在局限的, 磁盘写入速度就是kafka处理速度的极限，那么topic克服这个瓶颈的话, 单单垂直扩展是肯定不够的,所以一定要实现, 跨多个物理机, 并发发布/消费的, 如何实现, partition分区, 原理大致如下两图:

实现同一个topic跨多个物理机存储, 类似hdfs, 处理不过来就加机器。每台机器持有不同的partition。生产者爱发哪台发哪台，实现高性能+高可用。