如何从 XSD 创建 BQ 模式
Posted
技术标签:
【中文标题】如何从 XSD 创建 BQ 模式【英文标题】:How to create a BQ-schema from XSD 【发布时间】:2019-12-26 10:45:15 【问题描述】:我需要一些关于如何处理问题的指导。 我们的集成团队收到 xml 文件,这些文件被转换为 json 并发送到 pub/sub。然后我们将 json 文件(或应该)摄取到 bigquery 中。
问题在于 xml 文件并不总是包含所有可能的对象或值。因此,我无法在 bq 中创建正确的模式来接收 json 文件。我得到了带有扩展文件的 xsd 文件,它为我提供了所有可能的对象,但我不知道如何将其转换为正确的 bq 模式。 您对如何从 xsd 文件创建 bq 架构有任何建议吗?我在想,如果我在 xsd 的帮助下创建一个带有虚拟数据(包括所有对象和创建重复对象时的多个对象)的 xml 文件,那么该 xml 文件可能会转换为 json,然后使用自动模式检测bq。 有什么建议吗?
谢谢, 危机
【问题讨论】:
【参考方案1】:如果您有 XSD 架构文件,则可以将它们转换为有效的 JSON 架构。有几个tools 可以帮助您完成此任务。
请注意,这些工具仅用于一般用途,而不适用于 BigQuery 的特定情况,因此您必须调整结果以获得有效的 JSON 架构。为此检查 BigQuery 架构的 components,并快速参考文档中提供的 sample。
【讨论】:
以上是关于如何从 XSD 创建 BQ 模式的主要内容,如果未能解决你的问题,请参考以下文章