将批量数据写入 bigQuery

Posted 2023-03-24

【中文标题】将批量数据写入 bigQuery

【英文标题】：writing bulk data to big Query

【发布时间】：2018-04-04 15:29:28

【问题描述】：

我想使用软件 API 将批量数据写入 BQ。

我的限制是：

我将使用 BQ 的最大大小，列 10,000 和 ~35000 行（这可以更大） 需要架构自动检测 如果可能的话，我想使用某种并行性来异步同时写入许多表（因为 Apache-beam 和数据流可能是解决方案） 将 Pandas 库用于 BQ 时，可写入的数据帧大小存在限制。这需要对数据进行分区

最好的方法是什么？

非常感谢您的任何建议/评论， 爱拉兰

【参考方案1】：

Apache Beam 将是正确的组件，因为它支持批量和流模式下的海量数据处理。

我不认为 Beam 是“架构自动检测”。但是，如果表已经存在，您可以使用 BigQuery API 来获取架构。