将 Alexa 数据导入 Amazon RedShift

Posted 2023-03-30

【中文标题】将 Alexa 数据导入 Amazon RedShift

【英文标题】：Importing Alexa data into Amazon RedShift

【发布时间】：2013-07-21 14:17:39

【问题描述】：

我已将每日转储文件解压缩，然后将其放回 s3。

当我尝试在 postgresql 中执行复制语句时，我收到以下错误

Missing newline: Unexpected character  0x14 found at location 4

查询：

copy temp from 's3://bucket/top-1m.csv' credentials 'blah blah blah';

我必须在每一行添加一些字符吗？

原始数据：

1,facebook.com
2,google.com
3,youtube.com
4,yahoo.com
5,amazon.com
6,baidu.com
7,wikipedia.org
8,live.com

【问题讨论】：

分隔符？默认为 |

RedShift 或 Alexa 的默认设置？

Redshift COPY 命令

【参考方案1】：

Redshift COPY 命令使用 PIPE '|'作为默认分隔符。 如果您的文件由另一个字符（在您的情况下为逗号）分隔，您需要做的就是将 DELIMITER 关键字添加到您的 COPY 命令中。

copy temp from 's3://bucket/top-1m.csv' credentials 'blah blah blah' delimiter as ',';

或逗号分隔的文件：

copy temp from 's3://bucket/top-1m.csv' credentials 'blah blah blah' csv;

【参考方案2】：

从 's3://bucket/top-1m.csv' 凭据 'blah blah blah' 分隔符 ',' 复制 temp；