以 Protocol Buffer 格式导入数据

Posted

技术标签:

【中文标题】以 Protocol Buffer 格式导入数据【英文标题】:Import data in ProtocolBuffer format 【发布时间】:2012-11-26 17:16:40 【问题描述】:

是否可以在 BigQuery 中以 ProtocolBuffer 格式导入数据?我已经有一组(非常)大量采用这种格式的数据,现在我想将它们推送到 BigQuery 中。但如果我能避免翻译成 json 左右,我会很高兴。另外,这肯定会为我节省一些带宽......

谢谢。

【问题讨论】:

【参考方案1】:

抱歉,目前不可能。我们支持 CSV 和 JSON 导入。

请评论我对用例的回答或通过 google+ 或 twitter 联系我们,以便我们将此视为功能请求。

【讨论】:

我回到你身边。经过我们这边的一些研究,我们绝对可以使用 ProtoBuf 作为导入格式。当我们计划导入大量数据时,我们绝对可以从这个功能中受益!我们所有的数据都非常简单,但是有一个记录字段,这意味着基于 json 的解决方案可以将它们推送到您的解决方案中,这对我们来说绝对不方便。这将为我们节省大量带宽,并且我们不必将所有现有数据从 protobuf 转换为 json,然后在您这边进行完全相反的操作。

以上是关于以 Protocol Buffer 格式导入数据的主要内容,如果未能解决你的问题,请参考以下文章

protocol-buffer 消息的格式

protocol buffer 基础

Google Protocol Buffer入门

Protocol Buffer 序列化原理解析 - 为什么Protocol Buffer性能这么好?

Google Protocol Buffer 的使用和原理

Google Protocol Buffer