如何克服 Snowflake Varchar (16,777,216) 加载图像数据的限制

Posted

技术标签:

【中文标题】如何克服 Snowflake Varchar (16,777,216) 加载图像数据的限制【英文标题】:How to overcome limitation of Snowflake Varchar (16,777,216) to load image data 【发布时间】:2021-10-28 13:25:54 【问题描述】:

我们有一个场景从我们的源 SQL Server 加载 Image 列并加载到 Snowflake,但由于 Snowflake 具有 Varchar 限制,因此由于“字符串长问题”而失败。

到目前为止,我们已经尝试使用 Varchar 和 Variant 数据类型来加载此 Image 数据类型,但由于其巨大的大小,它也无法用于 Variant(Snowflake 正试图将其读取为 JSON,这就是我们也尝试使用 variant 的原因)。

有没有办法克服雪花中 Varchar 数据类型长度的限制。

【问题讨论】:

【参考方案1】:

您需要将其作为非结构化数据处理,这是最近发布的公共预览版。

https://www.snowflake.com/blog/snowflake-launches-unstructured-data-support-in-public-preview/

这显示了如何开始:

https://docs.snowflake.com/en/user-guide/unstructured-intro.html

如果您尝试某项操作但它不起作用,您可以使用您正在尝试的代码更新您的问题,其他人可以尝试提供帮助。

【讨论】:

以上是关于如何克服 Snowflake Varchar (16,777,216) 加载图像数据的限制的主要内容,如果未能解决你的问题,请参考以下文章

Snowflake 数据库 VARCHAR 列的度量单位是啥?

将 Varchar 转换为 Snowflake 中的时间戳

使用 Snowflake 中的任务调用存储过程

如何在表中的 varchar 列中解析此 JSON?雪花

Snowflake 存储过程中的最大 JavaScript 字符串大小

使用 Snowflake 将时间 PST/PDT 转换为时间戳