从谷歌云上传多个 csv 到 bigquery

Posted 2023-03-24

【中文标题】从谷歌云上传多个 csv 到 bigquery

【英文标题】：upload multiple csv from google cloud to bigquery

【发布时间】：2013-12-19 03:19:05

【问题描述】：

我需要从我的 Google 存储桶上传多个 CSV 文件。创建数据集时尝试指向存储桶，但收到错误消息。也试过了

gsutil load <projectID:dataset.table> gs://mybucket

它没有工作。

我需要一次上传多个文件，因为我的总数据是 2-3 TB 并且有大量文件

【问题讨论】：

bq load --autodetect --noreplace --source_format=CSV --skip_leading_rows=1 [my-dataset].[my-table] gs://[my-bucket]/[my-文件夹]/*

【参考方案1】：

你已经接近了。 Google Cloud Storage 使用 gsutil，但 BigQuery 的命令行实用程序是“bq”。您要查找的命令是bq load <table> gs://mybucket/file.csv。

bq 的文档在这里：https://developers.google.com/bigquery/bq-command-line-tool