Google Cloud Data Fusion 将 Excel 提取到 Bigquery

Posted 2023-03-25

【中文标题】Google Cloud Data Fusion 将 Excel 提取到 Bigquery

【英文标题】：Google Cloud Data Fusion ingest Excel to Bigquery

【发布时间】：2020-12-17 13:50:05

【问题描述】：

我正在尝试创建一个简单的管道来从 GCS 提取 Excel 并推送到 Bigquery。使用 Wrangler 将解析创建为 Excel 指令，数据完美返回。问题是在部署和运行管道时，错误收集器捕获以下内容 - Error encountered while executing 'parse-as-excel' : Error encountered while executing 'parse-as-excel' : Column 'body' should be of type 'byte array' or 'ByteBuffer'

当标记为 blob 和字节时，传入数据类型（GCS 源）在 Wrangler 中失败。 我确信一些基本的东西有问题，任何帮助表示赞赏。

【参考方案1】：

为了解决这个问题，传入的数据主体必须设置为字节（来自源 GCS）。 由于某种原因，这被选为字符串，导致管道部署时出现问题。