将数据从 GCS 传输到 Bigquery 表失败

Posted 2023-03-25

【中文标题】将数据从 GCS 传输到 Bigquery 表失败

【英文标题】：Failed to transfer data from GCS to Bigquery table

【发布时间】：2021-02-17 01:57:26

【问题描述】：

在 DTS 中需要帮助。

使用自动检测架构创建表“allorders”后，我创建了一个数据传输服务。但是当我运行 DTS 时，我遇到了一个错误。见下面的工作。数量字段类型肯定设置为整数，并且该字段中的所有数据都是整数。

作业 bqts_602c3b1a-0000-24db-ba34-30fd38139ad0（表 allorders）失败 错误 INVALID_ARGUMENT：读取数据时出错，错误消息： 无法将字段数量的“数量”解析为 INT64（位置 14） 从位置 0 开始，带有消息“无法解析”；工作编号： 956421367065:bqts_602c3b1a-0000-24db-ba34-30fd38139ad0

当我重新创建一个表并将所有字段设置为字符串类型时。它工作得很好。见下面的工作

作业 bqts_607cef13-0000-2791-8888-001a114b79a8（表 allorders） 顺利完成。记录数：56017，错误：0。

【参考方案1】：

尝试在包含所有字符串字段的表中查找不可解析的值：

SELECT * 
FROM dataset.table
WHERE SAFE_CAST(value AS INT64) IS NULL;

【讨论】：

嘿，这让我意识到一件事.. 感谢您的帮助！ :D 要跳过的标题行应该是 1。它现在可以工作了！