Bq 命令或数据流按原样加载

Posted 2023-03-24

【中文标题】Bq 命令或数据流按原样加载

【英文标题】：Bq command or data flow for as is load

【发布时间】：2017-11-21 19:04:21

【问题描述】：

我在 gcs 上有一个简单的分隔文件。我需要将该文件按原样（不传输）加载到 bigqyery 表。我们可以使用数据流或 bigqyery 命令行实用程序将该文件加载到 bigqyery 表中。我需要了解哪一个是 bigqyery 或 bq 命令行实用程序的最佳选择。在提供宝贵意见之前，请考虑成本、性能等因素。

【参考方案1】：

使用 Dataflow 运行 BigQuery 负载或使用 bq 命令行运行在成本方面是相同的。如果您不需要处理数据，直接使用 bq load 应该会更容易。