是否有任何适用于 AWS Redshift 的开源调度工具？

Posted 2023-03-31

【中文标题】是否有任何适用于 AWS Redshift 的开源调度工具？

【英文标题】：Are there any open source scheduling tools for AWS Redshift?

【发布时间】：2016-09-13 15:44:51

【问题描述】：

我有几个 sql 语句（插入、更新、删除、截断）要在事务中每 5 分钟执行一次。我无法使用 AWS Data Pipeline，因为管道的最小调度间隔为 15 分钟。我可以使用任何开源工具吗？我可以使用 talend open studio 来实现吗？

【问题讨论】：

通过 cron 作业和 SQL 文件？

【参考方案1】：

您可以尝试通过创建 3 个管道并每隔 5 分钟启动它们来克服 15 分钟计划间隔的限制。

另一个解决方案是使用 OnDemand 管道。然后您可以创建一个 CloudWatch 事件（带有计划）来触发 lambda 函数。在 lambda 中，您可以启动管道执行。

【讨论】：

我不确定是否可以使用管道对 redshift 表执行插入、更新、删除、截断，是吗？\