将嵌套分区 parquet 文件导入 Big Query 表

Posted 2023-04-18

【中文标题】将嵌套分区 parquet 文件导入 Big Query 表

【英文标题】：Import nested partitioned parquet file into Big Query table

【发布时间】：2020-06-17 12:50:39

【问题描述】：

我在云存储中有镶木地板文件，这些文件在年 -> 月 -> 日嵌套分区。我希望将此文件摄取到大查询表中。我该怎么做呢？我是 GCP 新手。

提前致谢

【参考方案1】：

您可以在您的 GCP 项目中使用 Cloud Shell 并执行以下命令：

bq load \
--source_format=PARQUET \
dataset.table \
"gs://mybucket/my_file.parquet"

用您自己的数据集、表和 Parquet 文件的 Cloud Storage URI 路径替换这些值。

或者，您也可以使用web console 将镶木地板文件加载到 BigQuery 中。