Kafka基础:高效读写数据

Posted qiu-hua

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka基础:高效读写数据相关的知识,希望对你有一定的参考价值。

1)顺序写磁盘
Kafka 的 producer 生产数据,要写入到 log 文件中,写的过程是一直追加到文件末端,为顺序写。官网有数据表明,同样的磁盘,顺序写能到 600M/s,而随机写只有 100K/s。这
与磁盘的机械机构有关,顺序写之所以快,是因为其省去了大量磁头寻址的时间。
2)零复制技术
原始复制
技术图片

 

 


 

kafka复制

技术图片

 

 

 

 

以上是关于Kafka基础:高效读写数据的主要内容,如果未能解决你的问题,请参考以下文章

Kafka之副本信息Leader 选举流程故障处理细节分区副本分配手动调整分区副本存储Leader Partition 负载平衡增加副本文件存储机制文件清理策略高效读写数据

大数据之kafka消费者

大数据之kafka消费者

解开Kafka神秘的面纱

终于知道Kafka为什么这么快了!

终于知道Kafka为什么这么快了!