从 S3 加载时,Redshift 使用了错误的时区

Posted

技术标签:

【中文标题】从 S3 加载时,Redshift 使用了错误的时区【英文标题】:Redshift uses wrong timezone when loading from S3 【发布时间】:2021-11-15 14:10:55 【问题描述】:

Redshift 允许通过设置 COPY 命令的 timeformat 'epochmillisecs' 参数来使用其纪元表示加载与时间相关的类型,如 here 所述。它适用于 TIMESTAMP,但 TIME 列出现问题。

Redshift 将对应于 13:47:02.572000 的 Epoch 值 1636984022000 (ms) 导入为 22:41:11。我可以看到它与太平洋标准时间 (-08:00) 的 13:47:02 UTC 匹配。

我尝试了alter user awsuser set timezone to 'UTC'set timezone to default,但似乎没有帮助。我错过了什么?

【问题讨论】:

旁注: 有时时区问题可能难以诊断,因为 SQL 客户端在显示数据时会在字段上执行转换。我使用的一个技巧是将时间戳转换为TEXT,以便 SQL 客户端不会更改其内容。因此,尝试将数据选为SELECT field::TEXT 以验证它是如何实际 存储的。可能与您的情况有关,但我想我会提到它。 我很震惊,但你是对的。非常感谢!!请留下您的评论作为答案,我会接受。能否请您也对***.com/q/68367270/226895 提出建议? :) 【参考方案1】:

有时时区问题可能难以诊断,因为 SQL 客户端在显示数据时会在字段上执行转换。

我使用的一个技巧是将时间戳转换为TEXT,以便 SQL 客户端不会更改其内容。因此,请尝试将数据选择为 SELECT field::TEXT 以验证它是如何实际存储的。

这会阻止 SQL 客户端执行任何善意的时区转换,并让您看到“真实”的基础数据。

【讨论】:

以上是关于从 S3 加载时,Redshift 使用了错误的时区的主要内容,如果未能解决你的问题,请参考以下文章

从 S3 接入点复制到 Redshift

Redshift COPY 命令无法从 S3 加载数据

使用多个清单文件从 S3 加载到 Redshift?

从 s3 复制到 redshift

在将数据从 S3 复制到 redshift 时,我遇到了以下错误:

Python 将数据从 Redshift 加载到 S3