为任务选择仓库大小

Posted

技术标签:

【中文标题】为任务选择仓库大小【英文标题】:Choosing a warehouse size for Tasks 【发布时间】:2021-09-20 22:13:46 【问题描述】:

我遇到了这个问题,很困惑。 如何确定用于任务的虚拟仓库的大小?

A.根任务可能并发执行(即多个实例),建议在执行窗口中留出一些边距,以免丢失执行实例。

B.查询(选择)流内容的大小将有助于确定仓库大小。例如,如果查询大流内容,请使用更大的仓库大小。

C.如果使用存储过程执行多条 SQL 语句,最好先单独测试运行存储过程,确定计算资源的大小。

D.由于任务基础架构基于按计划运行任务主体,因此建议使用多集群仓库配置虚拟仓库以进行自动并发处理,以匹配任务计划。

【问题讨论】:

【参考方案1】:

检查新的“无服务器”雪花任务:

https://www.snowflake.com/blog/taking-serverless-to-task/

在这种情况下,Snowflake 将自动确定最佳仓库大小。

您可以使用 USER_TASK_MANAGED_INITIAL_WAREHOUSE_SIZE 向 Snowflake 提示开始的大小。

在任务历史记录可供 Snowflake 确定理想大小之前,指定为任务的首次运行预置的计算资源大小。一旦任务成功完成了几次运行,Snowflake 将忽略此参数设置。 https://docs.snowflake.com/en/sql-reference/sql/create-task.html

此处描述了对计费的影响:

https://docs.snowflake.com/en/user-guide/admin-serverless-billing.html

【讨论】:

感谢您的指点。不过,我无法确定上述问题的正确答案是什么。是 C 还是 D? 如果您使用新的“无服务器”功能,则无需担心 - 只需在运行几次后让 Snowflake 确定最佳大小。 是的,很好理解。我试图从认证考试的角度理解这一点。你认为正确的答案是什么? 哦,那是不同的上下文。我希望问题是说您正在证书考试环境中寻找答案。如果没有人在这里回答,也许可以在reddit.com/r/snowflake 上发帖(附上下文)

以上是关于为任务选择仓库大小的主要内容,如果未能解决你的问题,请参考以下文章

java调优设置阻塞队列大小

弹窗的实现

「数据仓库技术」怎么选择现代数据仓库

任务18格式化

如何选择仓库出租服务

Jenkins任务基于Tag进行构建