Kafka核心技术与实战

Posted 2021-05-07 it-chen

Kafka是linkedIn开发并开源的一套分布式的高性能消息引擎服务，后来被越来越多的公司应用在自己的系统中，可以说，Kafka是大数据时代数据管道技术的首选。在设计的时候，它就实现了高可靠、高吞吐、高可用和可伸缩，得益于这些特性，加上活跃的社区，Kafka成为了一个完备的分布式消息引擎解决方案。

历经多年发展，Kafka的功能和特性也在不断迭代，如今的Kafka集消息系统、存储系统和流式处理平台于一身，并作为连接着各种业务前台和数据后台的消息中间件，在线上环境承担了非常重要的作用。

但在Kafka的实际使用过程中，几乎所有人都或多或少会遇到一些问题，比如：

棘手的线上问题难于定位和解决，怎么办？

在Kafka版本的演进过程中，各种新功能层出不穷，导致各种兼容性问题接踵而至，怎么办？

当集群规模扩展到一定程度后，所追求的高性能与有限的资源之间的矛盾又变得日益尖锐起来，怎么办？

如何顺利填补这些“坑”，是摆在每个Kafka学习者面前最亟待解决的问题。