访问雪花文件系统

Posted

技术标签:

【中文标题】访问雪花文件系统【英文标题】:Accessing snowflake file system 【发布时间】:2020-04-25 22:26:47 【问题描述】:

我是 Snowflake 的新手,我有两个关于 AWS 上的 Snowflake 的问题。

    我注册了一个 Snowflake 的免费帐户,它给了我一个访问其 Web UI 的链接,此后我可以使用我现有的 AWS S3 存储桶在 WebUI 中创建一个阶段,但是在加载数据后,我不确定在哪里雪花是否存储数据。我可以访问它的文件系统吗?我可以将其文件系统更改为我现有的 AWS S3 吗? 在 AWS 上注册 Snowflake 时,我去了 AWS Marketplace 并订阅了 snowflake 帐户,它提供了一个 snowflake webUI。在 AWS 上部署 Snowflake 是否需要执行其他任何操作?

【问题讨论】:

【参考方案1】:
    您从 S3 导入到 Snowflake 的数据现在驻留在逻辑数据库表中。数据库将其数据存储在自己的 S3 存储桶中。数据库存储格式是专有的,一个数据库抽象存储层S3桶可能包含来自多个客户的数据。数据是加密的,最后 Snowflake 可能甚至不知道例如。数据在哪个磁盘上,他们和其他人一样都是 S3 用户。 您几乎可以从 GUI 执行任何操作。但是 GUI 并没有为代码和对象历史等提供适当的存档。Snowflake 最近收购了一家拥有开发工具的公司,因此可能会出现比 GUI 更多的东西。

【讨论】:

阅读docs.snowflake.net/manuals/user-guide/intro-key-concepts.html了解更多 感谢汉斯的回答 所以,从你的回答来看,看起来我们不能将雪花的底层文件系统更改为我们自己的AWS S3,而对于雪花的安装,它只是在云平台上注册帐户。 嗯,你有雪花的企业虚拟私有云版,但它仍然受云平台的约束。你不能自己安装 Snowflake。 但话说回来,你为什么要这样做?是什么要求让您想放弃从软件即服务中获得的近乎为零的管理收益?

以上是关于访问雪花文件系统的主要内容,如果未能解决你的问题,请参考以下文章

雪花算法中机器id保证全局唯一

外部表的雪花外部阶段文件推荐

雪花系统角色 - USERADMIN 与 SECURITYADMIN

自增ID算法snowflake(雪花)

canvas绘图基础及基于粒子系统的雪花飘落

天气系统:雨雪