Snowflake stage Standalone 可以不借助任何云或锁机吗?
Posted
技术标签:
【中文标题】Snowflake stage Standalone 可以不借助任何云或锁机吗?【英文标题】:Can Snowflake stage Standalone without the help of any cloud or lock machine? 【发布时间】:2020-08-13 21:09:39 【问题描述】:对于 Snowflake 中的 staging,我们需要 S3 AWS 层或 Azure 或本地机器。取而代之的是,我们可以将来自源团队的文件直接 FTP 到 Snowflake 内部存储,这样,Snowpipe 就可以从那里将文件加载到我们的 Snowflake 表中。
如果是,请告诉如何。如果不是,请同时确认。如果不是,那不是 Snowflake 每次都依赖其他平台的一大缺点吗?
【问题讨论】:
“锁机”是什么意思?也“来自源团队”? 另外,不 - 您不能将文件直接 FTP 到 Snowflake 内部阶段。它需要存在于可以配置为外部阶段(例如 AWS S3)或可以使用 PUT 命令(docs.snowflake.com/en/user-guide/…)将其发送到内部阶段的本地计算机上。 另外请注意,如果您不使用与 AWS 等外部服务的集成,则需要调用 Snowpipe REST 端点以触发从内部阶段到 Snowflake 的负载。 【参考方案1】:您几乎可以使用 Snowflake 中的任何驱动程序将文件移动到 Snowflake 上的内部阶段。 ODBC、JDBC、Python、SnowSQL 等。不过,FTP 在云中并不是很常见的协议。 Snowflake 有很多客户在 AWS、Azure 或 GCP 上没有任何存在,他们以这种方式使用 Snowflake 没有问题。
【讨论】:
以上是关于Snowflake stage Standalone 可以不借助任何云或锁机吗?的主要内容,如果未能解决你的问题,请参考以下文章
如何从 Snowflake Stage 加载大型 JSON 文件?
S3 Bucket Stage 上的正则表达式 - 来自 Snowflake
Snowflake:如何找出哪些内部表阶段消耗最多的存储空间?