Redshift UDF boto sql 查询和 S3

Posted

技术标签:

【中文标题】Redshift UDF boto sql 查询和 S3【英文标题】:Redshift UDF boto sql query and S3 【发布时间】:2017-04-20 18:18:09 【问题描述】:

有没有办法在 Redshift 中使用 UDF,执行 SQL 查询并将结果上传到 AWS S3?如果有人知道如何做到这一点,将不胜感激。

谢谢

【问题讨论】:

UDF 与计算节点一起工作,通常针对每个列和行组合执行。不确定我们为什么要将计算功能与数据提取结合起来? 您能否澄清您的问题——您是否想在 UDF 本身内“执行 SQL 查询并将结果上传到 S3”?请编辑您的问题以提供有关您希望做什么的更多详细信息。 【参考方案1】:

要在 Redshift 中创建 UDF,您可以use python。然后,您可以在 SQL SELECT 语句中调用该函数。要将查询结果输出到 S3 中的文件,您可以使用 UNLOAD 语句。

【讨论】:

以上是关于Redshift UDF boto sql 查询和 S3的主要内容,如果未能解决你的问题,请参考以下文章

如何在 python udf 中使用 select 查询进行 redshift?

Psycopg2 是不是允许使用 Python 在 redshift 上运行 udf create 查询?

使用 Python 和 Boto3 获取列表集群 Amazon Redshift

Redshift Python UDF 自行运行,但在部分使用 count 或作为另一个查询的一部分时会引发错误

Redshift UDF 逻辑问题

Redshift UDF 逻辑问题