AWS 红移卸载附加时间戳

Posted

技术标签:

【中文标题】AWS 红移卸载附加时间戳【英文标题】:Aws redshift unload append timestamp 【发布时间】:2018-01-10 07:15:45 【问题描述】:

请告诉我 - 是否可以附加动态 YYYYMMDDHH24MISS

在从红移表中卸载数据 - Table.YYYYMMDDHH24MISS.csv

卸载语句:

unload ('select * from New_records')
to 's3://mybucket/unload/sysdate' 
iam_role 'arn:aws:iam::0123456789012:role/MyRedshiftRole';

【问题讨论】:

你不能直接使用 Redshift 命令来实现,但你可以使用一些外部工具,如 python 或 powershell 来生成卸载命令,包括根据当前日期和时间动态创建文件名,然后在 Redshift 上执行该命令(例如,使用 ODBC 连接)。 【参考方案1】:

没有。尚不支持在 unload 脚本中动态填充变量。

也有类似的要求,例如在运行时附加时间戳、更改文件名等。这可以通过获取 unload 语句生成的结果集,然后使用脚本修改结果来实现。

This question 有类似的要求(动态更改属性等)。

【讨论】:

以上是关于AWS 红移卸载附加时间戳的主要内容,如果未能解决你的问题,请参考以下文章

将镶木地板文件加载到红移时如何格式化时间戳字段?

从红移表中获取上次更新时间戳

红移时间数据类型

红移卸载问题

如何在红移光谱中创建一个外部表,其中文件位置每天都会改变?

如何使用 pyspark 从 aws 胶水的时间戳中提取年份