将数据插入 Bigquery 表的最佳方法

Posted 2023-03-24

【中文标题】将数据插入 Bigquery 表的最佳方法

【英文标题】：Best way to insert data into a Bigquery table

【发布时间】：2020-07-01 22:06:58

【问题描述】：

我想知道是否有任何首选方法可以将数据插入到 bigquery 表中？

我正在向 Cloud Composer DAG 末尾的 BQ 表插入新行。我使用了基于BigQueryOperator 的自定义运算符，如下所示：

INSERT INTO `<project>.<dataset>.<table> (col1,col2,col3)
VALUES
(ccc,ccc,ddd),
(...,...,...)

添加到表中的值最多可以是 500 行（...、...、...），但通常在 10-100 行左右。

是否有推荐/更好的方法来做到这一点？我不知道它是否值得通过 GCS，因为包含所有行的“文件”不会很大。

【参考方案1】：

请注意，INSERT 有成本（插入的数据大小），而通过 GCS 加载作业是免费的。

https://cloud.google.com/bigquery/pricing

传统上 INSERT 不是一个选择，但现在为了方便起见。

如果成本可以忽略不计，而这是最方便的选择 - 那就去吧。