历史数据加载的雪花任务，时间限制

Posted 2023-03-29

【中文标题】历史数据加载的雪花任务，时间限制

【英文标题】：Snowflake task for historical data load, time limit

【发布时间】：2019-11-13 18:58:51

【问题描述】：

我正在尝试从 Snowflake 中的一个表到另一个表进行完整的历史加载，包括转换。我预计它需要一个多小时。 我想安排此负载并让它在一夜之间运行，这样我就不必保持与网络的连接或冒连接问题的风险。

我尝试使用计划任务来执行此操作。

问题：有 60 分钟的限制。你可以让它更短（STATEMENT_TIMEOUT_IN_SECONDS = 60），但你不能让它看起来更长。 https://docs.snowflake.net/manuals/user-guide/tasks-ts.html#task-timed-out-or-exceeded-the-schedule-window

有其他人遇到过这种情况并有建议吗？

【参考方案1】：

另一种方法是扩展您的 WAREHOUSE，如果您的 TASK 是可并行化的，这很有意义。

【参考方案2】：

这是对每个帐户执行任务的软限制。您应该可以联系 Snowflake 支持以延长此时间。

【参考方案3】：

是的，您应该向雪花支持提出案例并请求增加任务限制。请检查完成任务通常需要的时间并请求设置该时间。限制将在帐户级别设置。此外，开发人员正在开发未来可以在任务级别设置超时的功能。