通过node js上传数据到redshift

Posted 2023-03-30

【中文标题】通过node js上传数据到redshift

【英文标题】：Upload data to redshift through node js

【发布时间】：2021-07-08 06:24:57

【问题描述】：

最近很好奇是否可以。 我点击下面的链接： https://walkingtree.tech/loading-data-to-redshift-using-nodejs/ 但我不明白它通过 S3 做了什么？ 我想通过节点 js 将数据上传到 redshift，指定我要插入数据的特定表和属性字段。有可能吗？

【问题讨论】：

你说的属性是指列吗？

是的，就像在一个表里有 id、name 等

【参考方案1】：

Amazon Redshift 是一个数据库。您当然可以使用 JDBC 连接连接到它并执行 INSERT 语句来添加数据。

但是，在 Redshift 中添加单个行的效率非常低，并且以不太理想的格式存储数据。加载大量数据时，最好通过 Amazon S3 加载数据。这允许 Redshift 跨多个节点并行加载数据，并对其进行排序以获得最佳数据库性能。

见：Amazon Redshift best practices for loading data - Amazon Redshift