HDF 模式注册表和 Confluent 之间的主要区别是啥?

Posted

技术标签:

【中文标题】HDF 模式注册表和 Confluent 之间的主要区别是啥?【英文标题】:What are the main differences between HDF schema registry and the Confluent one?HDF 模式注册表和 Confluent 之间的主要区别是什么? 【发布时间】:2019-06-07 18:31:54 【问题描述】:

我想知道嵌入在 HDF 套件和 Confluent 套件中的 kafka 的区别,特别是模式注册工具。

【问题讨论】:

【参考方案1】:

https://registry-project.readthedocs.io/en/latest/competition.html

Hortonworks 模式注册表依赖于 mysql 或 Postgres 数据库(假设这是可插入的,因此您可以编写自己的存储层)来存储其模式,而 Confluent 将模式直接存储在 Kafka 中。因此,有更多的基础设施需要通过 Hortonworks 实施来管理。

Hortonworks 据说有一些插件机制,因此它支持 Confluent 序列化格式,但我还没有看到它在实践中使用。它还具有可插入的模式存储,但我没有看到除了 Avro 之外的任何东西。

与 Confluent 相比,Hortonworks 有自己的 Web UI 和丰富的编辑器,您只能使用第三方工具或购买 Confluent 控制中心的许可证。

Hortonworks 旨在提供与 Spark、Nifi、SMM、Storm、Atlas,可能还有 Ranger 以及其 HDF 堆栈的其他组件的集成。这些工具中的 Confluent Schema Registry 支持都是社区驱动的。

【讨论】:

另外,我看到融合模式注册表提供了开箱即用的监控,hortonworks 中有没有这样的机制?我正在尝试在我的 HDP 模式注册表中设置 jmx 指标,它是一个 dockerized 设置。但是我不确定如何进一步进行,您能提供同样的帮助吗? @mythic 不确定你的意思。所有 Java 应用程序都具有开箱即用的监视功能。这称为 JMX,Hortonworks Registry 确实有 JMX 我无法在 hortonworks 架构注册表文档中找到要为 jmx 监控设置的配置参数。我在这里可能完全错了,但我不知道如何为我的 Hortonworks 模式注册表设置 jmx 监控 我很难在我的设置中设置SCHEMA_REGISTRY_JMX_OPTS。应该在哪个文件中设置?我有 jmx 代理 jar,但我不明白如何公开指标?以及在哪里进行这些更改? 我没用过 Hortonworks 的……不过这只是一个环境变量

以上是关于HDF 模式注册表和 Confluent 之间的主要区别是啥?的主要内容,如果未能解决你的问题,请参考以下文章

使用 Spring-Kafka 和 Confluent 模式注册表将带有 JSON 模式的记录发送到 Kafka

Flink 与 Confluent Kafka 模式注册表

Spark Confluent 模式注册表客户端 - 无法识别的字段“schemaType”

每个模式的 JDBC Confluent kafka 连接器和主题

具有逻辑类型的 Avro 模式不能与最新的 confluent-kafka 一起使用

如何覆盖访问主机名和端口的架构注册表主机