Confluent介绍

Posted 2021-09-04 宝哥大数据

一、Confluent介绍

  LinkedIn有个三人小组出来创业了—正是当时开发出Apache Kafka实时信息列队技术的团队成员，基于这项技术Jay Kreps带头创立了新公司Confluent。Confluent的产品围绕着Kafka做的。

1.1、什么是Confluent Platform?

  Confluent Platform 是一个流数据平台，能够组织管理来自不同数据源的数据，拥有稳定高效的系统。

  Confluent Platform 很容易的建立实时数据管道和流应用。通过将多个来源和位置的数据集成到公司一个中央数据流平台，Confluent Platform使您可以专注于如何从数据中获得商业价值而不是担心底层机制，如数据是如何被运输或不同系统间摩擦。具体来说，Confluent Platform简化了连接数据源到Kafka，用Kafka构建应用程序，以及安全，监控和管理您的Kafka的基础设施。

Kafka 是最流行的开源即时通讯系统，Confluent Platform 基于Kafka。 Kafka 是低延迟，高可扩展，分布式消息系统。它被数百家企业用于许多不同的场景，包括收集用户活动数据，系统日志，应用程序指标，股票行情数据和设备仪器的信号。

1.2、Confluent Platform三个版本

1.2.1、Confluent Open Source

是 Confluent 公司在 Kafka 上的一个增强版本，其主要增强的地方是：

• 增加了一个 REST 代理，以便客户端可以使用 HTTP 连接；
• 增加了对 Java 以外的语言的支持，比如 C++、Python 和.NET；
• 增加了对 Hadoop 文件系统、亚马逊 S3 存储、JDBC 等的连接的支持；
• 最重要 Schema Registry，这是对 Kafka 一个比较大的增强，它使得 Kafka 的数据流必须符合注册的 Schema，从而增强了可用性。所有这些东西本身也都是开源的，这使得其他第三方在这个上面继续开发新功能成为了可能。

1.2.2、Confluent Enterprise

是 Confluent 面向企业级应用的产品，里面增加了一个叫作 Confluent Control Center 的非开源产品。Confluent Control Center 是一个对整个产品进行管理的控制中心，最主要的功能对这个 Kafka 里面各个生产者和消费者的性能监控。

Kafka 作为一个非常重要的产品，已经在很多互联网企业里被作为关键组件部署了。而 Kafka 的性能监控也早就是一个非常重要的问题，Kafka 本身并不自带性能监控平台，很多公司比如雅虎自己内部开发了这样的系统。但是 Confluent 开发的控制平台无疑应该是最可靠的，毕竟没有人比 Kafka 的开发者更了解自己的产品。可惜这个是收费产品，而且不开源。Confluent Enterprise 同时还自带了数据自动负载平衡和跨数据中心数据复制的能力。

1.2.3、Confluent Cloud

是 Confluent Enterprise 的云端托管服务，它增加了一个叫作云端管理控制台的组件。除此之外，按照 Confluent 的说法，其实没有什么差别。但是对于想要省心的用户来说，这个产品无疑是更好的选择。

1.3、Kafka 与 Confluent 开源的组件

Kafka开源项目包括一些关键组件：

• Kafka Brokers(开源）。构成Kafka的消息，数据持久性和存储层。

• Kafka Java Clients(开源)。Java 库，写消息到kafka 或者从kafka 读消息。

• Kafka Streams（开源）。Kafka Streams是一个库使kafka转换成功能齐全的流处理系统。

• Kafka Connect（开源）。一种可扩展的和可靠的连接Kafka框架与外部系统（如数据库，键值存储，搜索索引和文件系统）的框架。

除了Kafka以外， Confluent Platform 包括更多的工具和服务，使构建和管理数据流平台更加容易。

• Confluent Control Center（闭源）。管理和监控Kafka最全面的GUI驱动系统。

• Confluent Kafka Connectors（开源）。连接SQL数据库/Hadoop/Hive

• Confluent Kafka Clients（开源）。对于其他编程语言，包括C/C++,Python

• Confluent Kafka REST Proxy（开源）。允许一些系统通过HTTP和kafka之间发送和接收消息。

• Confluent Schema Registry（开源）。帮助确定每一个应用使用正确的schema当写数据或者读数据到kafka中。

二、Kafka Connect

Kafka Connect 是 Kafka 的一个开源组件，是用来将Kafka与数据库、key-value存储系统、搜索系统、文件系统等外部系统连接起来的基础框架。

通过使用Kafka Connect框架以及现有的连接器可以实现从源数据读入消息到Kafka，再从Kafka读出消息到目的地的功能。

Confluent 在 Kafka connect基础上实现了多种常用系统的connector免费让大家使用，提供的列表如下：

• Kafka Connect ActiveMQ Connector
• Kafka FileStream Connectors
• Kafka Connect HDFS
• Kafka Connect JDBC Connector
• Confluent Kafka Replicator
• Kafka Connect S3
• Kafka Connect Elasticsearch Connector
• Kafka Connect IBM MQ Connector
• Kafka Connect JMS Connector

这些connector都可以拿来免费使用，而且Confluent 在GitHub上提供了源码，可以根据自身业务需求进行修改。

三、Schema Registry

Schema-Registry是为元数据管理提供的服务，同样提供了RESTful接口用来存储和获取schemas，它能够保存数据格式变化的所有版本，并可以做到向下兼容。

Schema-Registry还为Kafka提供了Avro格式的序列化插件来传输消息。

Confluent主要用Schema-Registry来对数据schema进行管理和序列化操作。

关注我的公众号【宝哥大数据】，更多干货

参考：
https://www.cnblogs.com/zdfjf/p/5646525.html
http://www.kafka.cc/archives/26.html
https://www.sohu.com/a/216936317_355140
https://www.jianshu.com/p/a6705c870bb9