bigquery 从 json 定义创建表给出了 STORAGE_FORMAT_UNSPECIFIED 错误

Posted 2023-03-24

【中文标题】bigquery 从 json 定义创建表给出了 STORAGE_FORMAT_UNSPECIFIED 错误

【英文标题】：bigquery create table from json definition gives STORAGE_FORMAT_UNSPECIFIED error

【发布时间】：2018-10-20 17:48:12

【问题描述】：

我想通过克隆现有表的架构、通过添加一些列来编辑它、重命名其他列来创建一个表。

我所做的是：

找到要克隆的表的架构：

bq show --format=json $dataset.$from_table | jq -c .schema

用一些脚本编辑它，保存为文件，例如schema.json（这里简化）：

schema.json

"fields":["mode":"NULLABLE","name":"project_name","type":"STRING",
"mode":"NULLABLE","name":"sample_name","type":"STRING"]

然后尝试使用以下命令创建新表：

bq mk --table --external_table_definition=schema.json test- 
project1:dataset1.table_v1_2_2

但我收到此错误：

mk 操作中的 BigQuery 错误：不支持的存储格式 外部数据：STORAGE_FORMAT_UNSPECIFIED

我只是希望这是另一个与我在 系统，我认为是位置“Google Cloud BigQuery”。

有什么想法吗？

【参考方案1】：

问题在于您正在使用external_table_definition 标志，例如，仅当您在 GCS 或 Drive 上的文件上创建外部表时才相关。创建新表的一种更简单的方法是使用 CREATE TABLE ... AS SELECT ... 语句。例如，假设我有一个表T1，其中包含列和类型

foo: INT64
bar: STRING
baz: BOOL

我想创建一个重命名bar 并更改其类型的新表，并添加一个名为id 的列。我可以运行这样的查询：

CREATE TABLE dataset.T2 AS
SELECT
  foo,
  CAST(bar AS TIMESTAMP) AS fizz,
  baz,
  GENERATE_UUID() AS id
FROM dataset.T1

如果您只想克隆和更新架构而不产生任何成本或复制数据，您可以使用LIMIT 0，例如：

CREATE TABLE dataset.T2 AS
SELECT
  foo,
  CAST(bar AS TIMESTAMP) AS fizz,
  baz,
  GENERATE_UUID() AS id
FROM dataset.T1
LIMIT 0

现在您将拥有一个具有所需架构的新空表。