将数据流式传输到BigQuery

Posted 2021-05-01

我们有一个应用程序将提供流数据，应用程序供应商要求Web端点访问BigQuery以加载流数据。加载流数据时的首选模式是什么？如果我想使用pubsub-> Dataflow-> BQ，如何设置Web端点以发布到主题？任何建议都表示赞赏 - 我从未这样做过：D

Br Cris

答案

如果数据只存储在BigQuery中，并且没有预见到任何预处理直接使用BigQuery Streaming API。它真的是高性能100.000 req / sec。

如果要处理集合，转换多个目标接收器，请使用DataFlow - > BQ。

在开始时只需使用BQ APi，然后随着事情的发展，您可以随时更改为Dataflow - > BQ方法。