雪花 - 雪管天蓝色 blob - auto_ingest 不起作用

Posted

技术标签:

【中文标题】雪花 - 雪管天蓝色 blob - auto_ingest 不起作用【英文标题】:snowflake - snowpipe azure blob - auto_ingest doesnt work 【发布时间】:2022-01-12 11:37:35 【问题描述】:

我已经按照本文所述创建了所有(如我所想) building-snowpipe-on-azure-blob

雪花 天蓝色 blob 存储 雪管

但管道只有在运行“alter pipe myPipe refresh”后才能工作

数据加载正确,但 auto_ingest 不起作用。

请给出如何找到问题的建议。

【问题讨论】:

【参考方案1】:

刷新管道命令直接从阶段获取文件,而自动摄取选项不采用相同的路由并使用来自 Azure 队列存储的消息。因此,即使 Azure blob 存储容器正确,消息也可以传递到队列,但不能传递到 Snowflake。

解决方案详情:https://community.snowflake.com/s/article/Ingesting-new-files-with-Snowpipe-for-Azure-fails-while-refreshing-the-pipe-works

【讨论】:

以上是关于雪花 - 雪管天蓝色 blob - auto_ingest 不起作用的主要内容,如果未能解决你的问题,请参考以下文章

雪花复制到不从 blob 存储中清除的语句中

天蓝色 blob 存储实验

使用ImageMagick压缩天蓝色blob中的图像

powershell 打破天蓝色存储blob上的leas

天蓝色存储 blob 容器名称 - 为每个用户/所有者分开

是否可以在私有天蓝色存储容器中有一个公共 blob