RedShift 临时表中的编码

Posted 2023-03-31

【中文标题】RedShift 临时表中的编码

【英文标题】：Encoding in temp tables in RedShift

【发布时间】：2017-01-20 08:20:44

【问题描述】：

我正在使用临时临时表 TempStaging 进行一些合并。主表 MainTable 的某些列中的数据以 lzo 编码，例如 C1。合并输出返回到 MainTable。

为了确保 TempStaging 的 dist 键相同，我使用 create table 创建它。由于某些原因，我不能使用 Create Table as。

那么我应该将 C1 列编码为 lzo 吗？还是不编码？ RedShift会短路[从MainTable中选择时解码，写入TempStaging时编码，从TempTable中选择合并时解码，写入MainTable时再次编码]

因为我认为如果没有发生短路，我最好离开编码，用一些内存换取 CPU 收益。

-阿米特

【参考方案1】：

Redshift 中的数据在从 AFAIK 表中读取时始终会被解码。有一些数据库可以直接对压缩数据进行操作，但 Redshift 不能。

关于是否应该在临时表中使用编码没有绝对的规则。这取决于写入的数据量。我发现编码 90+% 的时间更快，所以这是我的默认方法。

如您所述，确保临时表使用相同的 dist 键是第一要务。您可以在 CREATE TABLE AS 中指定 dist 键（和列编码）：

CREATE TABLE my_new_table
DISTKEY(my_dist_key_col)
AS
SELECT *
FROM my_old_table
;