使用 NodeJS 将 RabbitMQ 导入 AWS Redshift

Posted 2023-03-30

【中文标题】使用 NodeJS 将 RabbitMQ 导入 AWS Redshift

【英文标题】：RabbitMQ into AWS Redshift using NodeJS

【发布时间】：2015-05-06 14:36:41

【问题描述】：

我有一个 RabbitMQ 消费者正在侦听 RabbitMQ 中的队列并在 NodeJS 中接收事件数据。我想让消费者将每个数据事件发送到 AWS Redishit（可能使用他们的 javascript 开发工具包），但我找不到任何关于如何执行此操作的示例，也无法在 Amazon 的文档中找到对该过程的任何说明。

如何使用 AWS JavaScript 开发工具包将 NodeJS 中的数据发送到 Redshift？

谢谢， 画了

【问题讨论】：

这取决于您想以这种方式摄取的数据量。是小（维度变化）还是大（事件）？无论如何，您使用 JDBC/ODBC 驱动程序通过 SQL（INSERT 或 COPY）将数据放入 Redshift。

是的，我最终使用 PostgresSQL 库连接到 RedShift 并以这种方式执行插入。

如果您有很多记录，COPY 会更好。

这是一个持续的流而不是批量集，所以我认为 INSERT 是正确的选择。

【参考方案1】：

使用node-postgres 我能够打开一个到 Redshift 的连接池并从那里执行 INSERT 命令。快速、轻便 - 即使在相当大的负载下也是如此。