AWS Kinesis 连接器库

Posted 2023-03-31

【中文标题】AWS Kinesis 连接器库

【英文标题】：AWS Kinesis Connector Library

【发布时间】：2017-05-15 11:01:36

【问题描述】：

我正在开发一个实时流应用程序，它需要将信息发送到 AWS Kinesis 流并从那里发送到 AWS Redshift。根据我对文档的阅读和理解，以下是将信息从 Kinesis Streams 推送到 Redshift 的选项：

Kinesis Streams -> Lambda 函数 -> Redshift Kinesis Streams -> Lambda 函数 -> Kinesis Firehose -> Redshift Kinesis Streams -> Kinesis 连接器库 -> Redshift (https://github.com/awslabs/amazon-kinesis-connectors)

我发现 Kinesis 连接器选项是将信息从 Streams 移动到 Redshift 的最佳选择。但是，我无法理解我们在哪里部署这个库以及它是如何运行的？这是否需要在 EC2 实例上作为 lambda 函数或 java 函数运行。根据自述文件，我无法获得该信息。如果有人成功使用连接器，我将非常感谢您的见解。

【参考方案1】：

如果您使用 Kinesis 连接器库，那么您希望将其部署在 EC2 实例上，但在我看来，使用没有连接器库的 Lambda 函数会更容易、更好。它处理批处理、扩展您的实例调用和重试。对于 Lambda + Kinesis，死信队列可能也即将推出。

基本上，在 Lambda 中扩展和处理故障要容易得多。