我们啥时候应该使用 SNOWPIPE？

Posted 2023-03-29

【中文标题】我们啥时候应该使用 SNOWPIPE？

【英文标题】：When should we use SNOWPIPE?我们什么时候应该使用 SNOWPIPE？

【发布时间】：2020-09-22 20:31:46

【问题描述】：

我们在 Sharepoint 门户中有一些大小在 500KB 到 20 MB 之间的文件。我们想将这些文件转换为 CSV，然后将它们暂存到 Snowflake。没有真正需要实时摄取。我正在考虑两种选择。哪个选项会更好？

将文件 (CSV) 加载到云提供商对象存储中。创建外部舞台。然后每隔一小时安排一个 python 程序来将数据从舞台摄取到雪花表 使用 SNOWPIPE

我更倾向于#1，主要是因为我将控制仓库。此外，它还允许我将文件打包，然后加载到雪花中。

【参考方案1】：

如果您不需要实时加载源数据，选项 1 更有意义，但您需要对其进行管理和维护。 选项 2 设置一次，它会自动加载文件，但成本会更高，因为您无法控制仓库的使用。

我有类似的情况并使用选项 1，如加载。