将雪花数据发送到 REST API (POST) 的方法

Posted 2023-03-29

【中文标题】将雪花数据发送到 REST API (POST) 的方法

【英文标题】：Ways to Send Snowflake Data to a REST API (POST)

【发布时间】：2021-11-16 16:57:55

【问题描述】：

我想知道是否有人将数据从 Snowflake 发送到 API（POST 请求）。

最好的方法是什么？ 考虑使用 Snowflake 卸载 (COPY INTO) Azure blob 存储，然后创建一个脚本以将该数据发送到 API。或者我可以直接在一个脚本中使用 Snowflake API 并避免 blob 存储。

好奇别人做了什么。

【参考方案1】：

要将数据发送到 API，您需要在 Snowflake 之外运行脚本。

然后使用 Snowflake 外部函数，您可以在 Snowflake 中触发该脚本 - 您也可以向它发送参数。

我在这里做了类似的事情：

https://towardsdatascience.com/forecasts-in-snowflake-facebook-prophet-on-cloud-run-with-sql-71c6f7fdc4e3

该帖子的基本步骤是：

拥有一个在 Cloud Run 上运行的容器内运行 Facebook Prophet 的脚本。 设置一个 Snowflake 外部函数，该函数调用 GCP 代理，该代理使用我需要的参数调用该脚本。

在您的情况下，我会寻找类似的设置，脚本在 Azure 中运行。

https://docs.snowflake.com/en/sql-reference/external-functions-creating-azure.html

【讨论】：

感谢 Felipe 的帮助。每天使用 Azure 函数向 API 发送 1-2 百万条记录是不是很昂贵？

您需要定义“昂贵”以及谁为什么收费。