基于Kafka的高性能流处理平台——Confluent

Posted 2023-03-25

参考技术A 软件准备

Confluent平台是一个可靠的，高性能的流处理平台，你可以通过这个平台组织和管理各式各样的数据源中的数据。

confluent start 会启动 confluent 全部组件，如果想要单独启动，比如单独启动 schema-registry，可以执行以下命令：

具体的单独启动各组件的命令，进入 bin 目录下，一看就能明白，不再赘述。

说明：
confluent 中内嵌了 Kafka 和 Zookeeper，你也可以通过指定不同的 zookeeper 在其他的 kafka 集群中创建 topic 或执行其他操作。

以上命令是内嵌的一个kafka-producer脚本，生成随机的用户信息，可以通过 quickstart=[CLICKSTREAM_CODES, CLICKSTREAM, CLICKSTREAM_USERS, ORDERS, RATINGS, USERS, USERS_, PAGEVIEWS] 来生成不同的数据，这个脚本会运行很长时间(官网只说了很长时间，到底多长，没说)，除非你手动停止

在另一个窗口中，进入KSQL命令行(上一个窗口继续发数据不要停)

把生产过来的数据创建为user表：

设置消费偏移量为 "earliest"：

查询：

kafka

kafka是基于构建实时数据管道和数据流的应用。具有实时横向扩展、高吞吐量、支持大量堆积具有容错性和速度快等特点。它是一个高性能分布式消息系统。通常一个分布式流数据平台它具有三个特点：

1. 发布和订阅功能，类似于消息系统

2. 以容错的方式记录流

3. 处理流

 

OpdenDJ

　　为企业提供了一个高性能，高可靠性的身份管理