获取 BigQuery 外部表的 GCS 路径元数据

Posted 2023-03-24

【中文标题】获取 BigQuery 外部表的 GCS 路径元数据

【英文标题】：Getting GCS path metadata for BigQuery external tables

【发布时间】：2020-10-31 11:00:29

【问题描述】：

使用永久外部表查询 Cloud Storage 数据时，

CREATE OR REPLACE EXTERNAL TABLE mydataset.sales
OPTIONS (
  format = 'CSV',
  uris = ['gs://mybucket/sales-google.csv', 'gs://mybucket/sales-microsoft.csv']
)

有没有办法知道该行是从哪个文件中提取的？元数据？

SELECT * FROM mydataset.sales

【参考方案1】：

您可以使用此处概述的 _FILE_NAME 伪列：

https://cloud.google.com/bigquery/external-data-drive#the_file_name_pseudo_column

【参考方案2】：

使用_FIE_NAME伪列：

SELECT 
  *,
  _FILE_NAME AS file_name
FROM mydataset.sales