执行谷歌数据流作业时出现 HTTP 传输错误

Posted 2023-03-25

【中文标题】执行谷歌数据流作业时出现 HTTP 传输错误

【英文标题】：Getting HTTP transport error while executing google dataflow job

【发布时间】：2016-08-29 17:27:42

【问题描述】：

我在执行 Dataflow 作业时经常遇到错误：

BigQuery 导入作业“dataflow_job_838656419”失败。，：BigQuery 为项目“TestProject”中数据集“TestDataSet”中的表“TestTable”创建导入作业失败。，：BigQuery 执行失败。，：HTTP 传输错误：消息：无效值：字符串不是有效值 HTTP 代码：400

它没有给出 google Dataflow 作业连续失败的任何具体原因。 我如何知道我在执行 google Dataflow 作业时犯了什么错误？

【问题讨论】：

您能提供工作ID吗？

作业 ID 为 2016-08-29_10_19_38-10605284450672758855

代码是否使用了 TableRow (developers.google.com/resources/api-libraries/documentation/…)，如果是，是使用 setF 还是 set？

是的，代码使用 TableRow 对象并使用 set()

看起来该作业将“字符串”指定为模式字段的类型。 BigQuery 文档说它应该拼写为“STRING”。你可以这样试试吗？

【参考方案1】：

问题在于 BigQuery API 的使用不正确，该 API 在字段类型方面区分大小写。请在您提供的架构中指定“STRING”作为字段类型。

更多详情请查看https://cloud.google.com/bigquery/docs/reference/rest/v2/tables。