从 DataFlow 加载到现有 BigQuery 表时是不是可以更新架构?

Posted

技术标签:

【中文标题】从 DataFlow 加载到现有 BigQuery 表时是不是可以更新架构?【英文标题】:Is it possible to update schema while doing a load into an existing BigQuery table from DataFlow?从 DataFlow 加载到现有 BigQuery 表时是否可以更新架构? 【发布时间】:2016-10-30 20:21:48 【问题描述】:

基本上我正在尝试在 DataFlow 中执行与此 CLI 等效的操作:

bq load  --source_format=NEWLINE_DELIMITED_JSON --schema_update_option=ALLOW_FIELD_ADDITION --schema=users.schema.json projectid:dataset.users updates/users.json

这可能吗?

【问题讨论】:

How to insert/append unstructured data to bigquery table的可能重复 有代码吗?? 【参考方案1】:

目前BigQueryIO 不支持此实验选项。我已经提交了a JIRA issue 来支持它。

【讨论】:

以上是关于从 DataFlow 加载到现有 BigQuery 表时是不是可以更新架构?的主要内容,如果未能解决你的问题,请参考以下文章

Dataflow 中的 BigQuery 无法从 Cloud Storage 加载数据:为非记录字段指定了 JSON 对象

在 Dataflow 中使用啥转换来合并具有不同列的 csv 文件,同时将它们加载到 BigQuery?

优化 BigQuery 资源的使用,使用 Google Dataflow 从 GCS 加载 200 万个 JSON 文件

从 PubSub 导出到 BigQuery - Dataflow 没有任何反应

BigQuery:如何使用传输 API 将文件从 GCS 加载到现有表?

PubSub 到 BigQuery - Python 中的数据流/Beam 模板?