如何检测 BigQuery 中的锯齿行？

Posted 2023-03-25

【中文标题】如何检测 BigQuery 中的锯齿行？

【英文标题】：How to detect jagged rows in BigQuery?

【发布时间】：2014-11-19 18:33:49

【问题描述】：

我们有一个数据问题，我们希望备份特定种类并确定哪些行是“锯齿状”的，因此我有效地尝试检测哪些行缺少某个列（意味着该字段确实该行上不存在，我将其与空值区分开来）。有没有办法在 BigQuery 中做到这一点？

【问题讨论】：

IS NULL 语言结构对您没有帮助吗？

我担心的是“IS NULL”并不能解决缺少字段的问题，而是会返回具有该字段且值为 NULL 的行。

所以您尝试加载数据而不为它们定义列？

嗯，值得关注的是，一些实体是使用定义的字段和该字段中的数据创建的，而一些实体是在没有对该字段的任何引用的情况下创建的（我认为这与仅取消该字段不同） )。也许 BigQuery 没有区别，而我所描述的是不可能的？

发布此类实体的示例，以便我们更好地理解问题。您可以编辑原始问题以添加更多详细信息。

【参考方案1】：

来自文档：

configuration.load.allowJaggedRows boolean [可选] 接受行 缺少尾随可选列。缺失值是 视为空值。默认值为 false ，它将短行视为错误。 仅适用于 CSV，其他格式忽略。

https://cloud.google.com/bigquery/docs/reference/v2/jobs

这意味着锯齿行中的缺失值将被视为空值。如果保留这些值很重要，您可能需要尝试不同的方法，例如在 BigQuery 中提取整行并在可能的情况下进行解析。