AI小科普 | Kafka Stream

Posted 2021-05-02 起源智族

1.什么是Kafka Stream？

Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。Kafka Stream提供的是一个基于Kafka的流式处理类库，直接提供具体的类给开发者调用，整个应用的运行方式主要由开发者控制，方便使用和调试，可以嵌入应用程序中并且对于应用的打包和部署基本没有要求。

2.Kafka Stream的特点?

Kafka Stream提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可以任意方式打包和部署；除了Kafka外，无任何外部依赖；充分利用Kafka分区机制实现水平扩展和顺序性保证；通过可容错的state store实现高效的状态操作；支持正好一次处理语义；提供记录级的处理能力，从而实现毫秒级的低延迟；支持基于事件时间的窗口操作，并且可处理晚到的数据；同时提供底层的处理原语Processor，以及高层抽象的DSL。

3.Kafka Stream支持的三种时间?

在流式数据处理中，时间是数据的一个非常重要的属性。目前Kafka Stream支持三种时间：事件发生时间，包含在数据记录中。发生时间由Producer在构造ProducerRecord时指定；消息接收时间，也即消息存入Broker的时间。当Broker或Topic将message.timestamp.type设置为LogAppendTime时生效。此时Broker会在接收到消息后，存入磁盘前，将其timestamp属性值设置为当前机器时间。一般消息接收时间比较接近于事件发生时间，部分场景下可代替事件发生时间；消息处理时间，即Kafka Stream处理消息时的时间。