将 AWS 粘合模式注册表与融合的 SerDe 客户端一起使用

Posted 2023-02-16

【中文标题】将 AWS 粘合模式注册表与融合的 SerDe 客户端一起使用

【英文标题】：Using AWS glue schema registry with confluent SerDe clients

【发布时间】：2021-05-01 23:03:38

【问题描述】：

为了在我的 MSK 主题上支持架构注册表，我找到了两个选项 -

AWS Glue 架构注册表；和 融合模式注册表

由于 Glue SR 完全由 AWS 管理，我更愿意使用它。但是，我的生产者和消费者客户端是用 python 编写的，这限制了我在 java 中使用 AWS 提供的 SerDe 库。

我继续搜索是否可以使融合架构注册表 API（python 中融合 kafka 库的一部分）与 Glue 架构注册表一起使用，因为我最初的假设是架构注册表实现在融合和粘合之间是通用的.

在阅读 confluent 文档时，我发现可以通过使用 url 属性 (https://docs.confluent.io/platform/current/clients/confluent-kafka-python/#) 为架构注册表提供 url 来建立架构注册表连接。

我找不到我创建的胶水注册表的此类 url。他们的 java 客户端确实接受了区域名称、注册表名称和其他属性 (https://docs.aws.amazon.com/glue/latest/dg/glue-dg.pdf#schema-registry) 等属性。有什么办法可以找到这个 url，或者我应该切换到不是托管服务的 confluent SR？

【问题讨论】：

我的 Node.js 和 Ruby on Rails 项目也面临着类似的问题。如果他们尽快释放支持，那就太好了。

您找到解决方法了吗？

【参考方案1】：

AWS Glue 架构注册表没有 URL 端点的概念。您通过给定区域和注册表名称的 AWS API 与服务交互。

AWS 提供了一个库

https://github.com/awslabs/aws-glue-schema-registry