将数据从现有视图加载到 Snowflake 中的表并安排它每天运行 - 增量

Posted

技术标签:

【中文标题】将数据从现有视图加载到 Snowflake 中的表并安排它每天运行 - 增量【英文标题】:Load data from an existing View to table in Snowflake and shcedule it to run everyday - incremental 【发布时间】:2021-07-16 09:53:57 【问题描述】:

我是 Snowflake 的新手,我必须将数据从现有视图加载到 Snowflake 中的表中,并且还需要安排它每天运行 - 增量。

如何在雪花中实现。需要建议。

【问题讨论】:

如果你需要增量,你应该考虑使用流docs.snowflake.com/en/user-guide/streams.html。但是,流适用于表而不是视图。您需要在构建视图的每个表上放置一个,并根据与视图定义匹配的 SQL 语句运行 DML 语句。 【参考方案1】:

你需要

创建一个存储过程,从视图中插入/合并到表中,实现您需要应用的任何业务逻辑 创建一个运行 SP 的任务 为任务添加计划

【讨论】:

以上是关于将数据从现有视图加载到 Snowflake 中的表并安排它每天运行 - 增量的主要内容,如果未能解决你的问题,请参考以下文章

雪花数据传输和格式化

Snowflake SQL:需要将日期脊柱添加到现有表列

如何通过查询从Snowflake中创建特定视图的表

数据摄取:将动态文件从 S3 加载到 Snowflake

将网格视图中的选中行插入到 yii2 中的表中

如何检查从 aws S3 到雪花的数据加载结果