Snowpipe 自动摄取

Posted 2023-03-29

【中文标题】Snowpipe 自动摄取

【英文标题】：Snowpipe auto ingestion

【发布时间】：2020-05-22 18:35:01

【问题描述】：

我是 Snowflake 的新手。我已经创建了雪管，阶段也在 AWS 中配置了 SQS。

当我将文件放入 S3 存储桶时，数据没有通过雪管加载到表中。

如果我正在执行语句：alter pipe snow_pipename refresh 那么只有数据被加载到表中。

我是否需要为自动提取数据加载进行更多设置/说明。

【问题讨论】：

您可以使用此处列出的步骤进行调试：docs.snowflake.com/en/user-guide/…

【参考方案1】：

S3 存储桶上可能未正确设置 SQS 通知。检查配置以在下面的链接中进行设置

https://docs.snowflake.com/en/user-guide/data-load-snowpipe-auto-s3.html#step-4-configure-event-notifications

【讨论】：

我已经执行了以下步骤：创建或替换阶段 snowpipe_emp url='s3://YYYYYY';列出@snowpipe_emp； create table snowpipe_emp_table(Name String, Dept string, Sal number);创建管道 snowpipe_pipe_emp auto_ingest=true 作为从 @snowpipe_emp file_format=csvfile 复制到 snowpipe_emp_table；显示管道；在 AWS 事件中，选择选项所有对象创建事件，发送到：SQS 队列，SQS：添加 SQS 队列 ARN，SQS 队列 ARN：更新了我从管道获得的通知通道。仍然无法加载数据。

Snowpipe 在加载时会记住文件名以避免重复。您可以尝试使用新文件吗？如果它不起作用，请开具详细信息的支持票。