Google Dataflow - 由GoogleSheets支持的BigQuery工作

Posted 2021-04-16

我有一个用Java编写的Google Dataflow批处理作业。

• 这个Java代码访问Bigquery并执行一些转换，然后输出回Bigquery。
• 这段代码可以很好地访问Bigquery表。

但是，当我选择一个由联合来源（如Google工作表）支持的表时，它不起作用。

它表示找不到包含Google云端硬盘范围的OAuth令牌。

Pipeline options

PipelineOptions options = PipelineOptionsFactory.fromArgs(args).withValidation().create();
Pipeline p1 = Pipeline.create(options);

有任何想法吗？

答案

你能试一下吗：

gcloud auth login --enable-gdrive-access

在启动Dataflow作业之前？

另一答案

回答我自己的问题，但为了解决这个问题，我将使用Google Apps脚本作为本地表上传到Bigquery。

请看这个link.

我只是将Load CSV数据代码片段修改为BigQuery，然后创建一个可安装的触发器，每晚执行此功能以上传到Bigquery。

请注意，您无法执行需要授权的onEdit，onOpen等触发器。