BigQuery CSV 导入:允许锯齿行

Posted

技术标签:

【中文标题】BigQuery CSV 导入:允许锯齿行【英文标题】:BigQuery CSV Import: Allow Jagged Rows 【发布时间】:2017-04-19 12:20:15 【问题描述】:

我正在尝试从用户界面将 CSV 导入 BigQuery 表。我的导入作业失败并显示以下消息:

Too many errors encountered. (error code: invalid)
gs://foo/bar.csv: CSV table references column position 15, but line starting at position:29350998 contains only 15 columns. (error code: invalid)

我假设这意味着导入器不喜欢源数据中没有实际null 字符串的空字段。有没有办法让 UI 在导入时允许锯齿状行?或者,如果不是,我应该使用什么 CLI 命令以这种方式将我的 CSV 文件导入到表中?

【问题讨论】:

【参考方案1】:

UI 有一个Allow jagged rows 复选框供您选择。你试过吗?它是 Create Table 向导的 Options 的一部分。

【讨论】:

谢谢!我正在做自动模式检测,所以我错过了那个选项。

以上是关于BigQuery CSV 导入:允许锯齿行的主要内容,如果未能解决你的问题,请参考以下文章

如何检测 BigQuery 中的锯齿行?

使用 Apache Beam 以 CSV 格式将 BigQuery 结果写入 GCS

如何将每个给定长度的行的 Bigquery 表提取到 Google Storage 中的 csv 文件?

将 10 MB 数据上传到 Bigquery

Google BigQuery Import csv Using Console - 使用第一行作为标题

将 CSV 导入 BigQuery 中的表时无法添加字段