到 Kafka 的 AWS Sqs 源连接器
Posted
技术标签:
【中文标题】到 Kafka 的 AWS Sqs 源连接器【英文标题】:AWS Sqs Source Connector to Kafka 【发布时间】:2021-07-17 10:35:30 【问题描述】:我正在尝试连接到存储我的数据的 AWS sqs 队列。我有 Aws.key 和秘密。我还有 SQS 源连接器,它将数据从 SQS 队列传输到我的 Kafka 主题。我想知道该怎么做。 我需要在 AWS 控制台上工作吗?如何使用 Source Connector 传输数据?
【问题讨论】:
【参考方案1】:您需要部署自己的基础架构(不需要控制台,否)运行 Kafka Connect,然后安装 SQS 连接器插件,然后将连接器配置 HTTP POST 到其 REST API
【讨论】:
谢谢。我发现连接器已经在运行。将数据发送到队列就足够了,之后数据会自动转发。以上是关于到 Kafka 的 AWS Sqs 源连接器的主要内容,如果未能解决你的问题,请参考以下文章
AWS Elastic Beanstalk Worker 无法连接到 SQS
Kafka 连接设置以使用 AWS MSK 从 Aurora 发送记录