到 Kafka 的 AWS Sqs 源连接器

Posted

技术标签:

【中文标题】到 Kafka 的 AWS Sqs 源连接器【英文标题】:AWS Sqs Source Connector to Kafka 【发布时间】:2021-07-17 10:35:30 【问题描述】:

我正在尝试连接到存储我的数据的 AWS sqs 队列。我有 Aws.key 和秘密。我还有 SQS 源连接器,它将数据从 SQS 队列传输到我的 Kafka 主题。我想知道该怎么做。 我需要在 AWS 控制台上工作吗?如何使用 Source Connector 传输数据?

【问题讨论】:

【参考方案1】:

您需要部署自己的基础架构(不需要控制台,否)运行 Kafka Connect,然后安装 SQS 连接器插件,然后将连接器配置 HTTP POST 到其 REST API

【讨论】:

谢谢。我发现连接器已经在运行。将数据发送到队列就足够了,之后数据会自动转发。

以上是关于到 Kafka 的 AWS Sqs 源连接器的主要内容,如果未能解决你的问题,请参考以下文章

如何根据连接器名称获取 Kafka 源连接器架构

AWS Elastic Beanstalk Worker 无法连接到 SQS

Kafka 连接设置以使用 AWS MSK 从 Aurora 发送记录

用于 postgres 的 Kafka 源连接器 - 第 0 天加载

Kafka 消息包含控制字符(MongoDB 源连接器)

在远程 MSK kafka 集群上使用 kafka 连接 mongoDB debezium 源连接器