从 DataFlow 加载到现有 BigQuery 表时是不是可以更新架构?
Posted
技术标签:
【中文标题】从 DataFlow 加载到现有 BigQuery 表时是不是可以更新架构?【英文标题】:Is it possible to update schema while doing a load into an existing BigQuery table from DataFlow?从 DataFlow 加载到现有 BigQuery 表时是否可以更新架构? 【发布时间】:2016-10-30 20:21:48 【问题描述】:基本上我正在尝试在 DataFlow 中执行与此 CLI 等效的操作:
bq load --source_format=NEWLINE_DELIMITED_JSON --schema_update_option=ALLOW_FIELD_ADDITION --schema=users.schema.json projectid:dataset.users updates/users.json
这可能吗?
【问题讨论】:
How to insert/append unstructured data to bigquery table的可能重复 有代码吗?? 【参考方案1】:目前BigQueryIO
不支持此实验选项。我已经提交了a JIRA issue 来支持它。
【讨论】:
以上是关于从 DataFlow 加载到现有 BigQuery 表时是不是可以更新架构?的主要内容,如果未能解决你的问题,请参考以下文章
Dataflow 中的 BigQuery 无法从 Cloud Storage 加载数据:为非记录字段指定了 JSON 对象
在 Dataflow 中使用啥转换来合并具有不同列的 csv 文件,同时将它们加载到 BigQuery?
优化 BigQuery 资源的使用,使用 Google Dataflow 从 GCS 加载 200 万个 JSON 文件
从 PubSub 导出到 BigQuery - Dataflow 没有任何反应