使用 GET 方法将数据流式传输到 Google BigQuery？

Posted 2023-03-24

【中文标题】使用 GET 方法将数据流式传输到 Google BigQuery？

【英文标题】：Stream data into Google BigQuery using GET Method?

【发布时间】：2017-10-12 11:46:50

【问题描述】：

我需要一个好的解决方案，最好是现有的解决方案，例如 Google Rest API，以便将数据流式传输/插入 BigQuery。由于许多设计原因，我不想使用 POST 方法发送数据。我预计每秒有 1000 次写入。数据将附加在 url 的查询参数中。它与 Google 分析的工作非常相似，使用 Get 方法发送分析数据。

【参考方案1】：

这里有一份礼物：

http://dmitriilin.com/exporting-data-google-analytics-google-bigquery/ https://github.com/lnklnklnk/ga-bq

如果您有任何其他问题可以问我，我使用了这个解决方案。

【讨论】：

感谢 Marco，但我最终使用了 Google Cloud 功能，从而解决了问题。

【参考方案2】：

我还可能鼓励您使用 Dataflow 流式管道之类的东西来处理这些插入，而不是直接调用 API。

【参考方案3】：

谷歌云功能 (GCF) 解决了这个问题。 GCF 仍处于测试阶段，但大多数谷歌产品无论如何都处于测试阶段。 GCF 是无服务器的，可以用几行代码编写 http 触发器。欲了解更多信息，请访问 -> https://console.cloud.google.com/functions