ProtoBuf简介

Posted 2023-04-26

参考技术A ProtoBuf是一种无关语言，无关平台的序列化结构数据的方法，可用于通信协议、数据存储等

XML：数据较为冗余，需要成对的闭合标签
JSON：使用键值对方式，压缩了一定的数据空间并且具有可读性
ProtoBuf：适合高性能，对响应速度有要求的数据传输场景，ProtoBuf是二进制数据格式，需要解码和编码，数据本身不具有可读性，只能反序列化后才能读到真正的数据。序列化后的数据相比json和xml很小，适合网络传输；序列化和反序列化比json的处理速度更快。
XML、JSON 更注重数据结构化.
ProtoBuf更注重数据序列化，关注效率、空间、速度

数据类型分为两大类：
复合数据类型：枚举和message类型
标准数据类型：整型，浮点，字符串
规则的修饰符：
required 字段必须出现1次
optional 字段可出现0次或1次
repeated 字段可出现多次(包括0)
标准数据类型：
proto与python类型对应

例如：

专栏精选网络封包神器protobuf简介

---

洪流学堂，让你快人几步。你好，我是郑洪智。

大智：“上次我们在学习如何进行数据包封包的时候说到：在网络传输时数据包需要定义好格式，这个格式就是数据在字节流中是如何排列的，有时候这种数据排列的方式也称作协议（Protocol）。自定义协议灵活性很大，但是相应的复杂度也很高，如果客户端和服务器是两种不同的语言开发的，就需要分别进行协议的编码和解码，工作量会很大。不过，还有一个Protocol Buffers可以解救我们。”

Protocol Buffers

Protocol Buffers (通常简称为protobuf) 是Google开发的一种格式，这种格式与开发语言无关、与运行平台无关，用于序列化结构数据，并且很容易扩展。这种格式可以用于通信协议、数据存储等等。你可以想一下之前学过的xml或json，和他们有些类似，但是protobuf更小、更快、更简单。

使用protobuf时，你只需要按照protobuf的格式要求将数据结构定义在.proto文件中一次，就可以通过protobuf的编译工具生成不同开发语言的数据结构代码（就像我们在C#中序列化/反序列化xml或json时需要定义的class类），生成的代码中还封装了数据结构的读写和序列化。

为什么要用protobuf呢？

如果使用你已经学过的知识，如何序列化和反序列化这样的数据呢？有几种方式可以实现：
1、第一种，使用我们之前学过的XML或JSON。XML和JSON的好处就是它们具有自描述性，是人类可读的，几乎所有编程语言都有成熟的开源库来序列化/反序列化它们。如果你想要和其他程序进行数据交换，XML/JSON是很好的选择。但是，XML/JSON数据所占的空间比较大（因为有很多冗余的标签、字符），同时解析速度比较慢。后面我们会具体比较XML/JSON和protobuf的区别。

2、第二种，使用.NET的二进制序列化类：System.Runtime.Serialization.Formatters.Binary.BinaryFormatter。用这种方式，一旦改变数据结构会非常麻烦，之前已有的数据可能都无法使用了，并且与其他程序进行数据交换时很麻烦。

3、第三种，使用自定义的数据格式，比如上次我们学习到的格式。这种方式简单、快速，但是不方便的就是如果在多种语言之间传输，每种语言都要写解码、编码的代码。

protocol buffers正是google开发来解决上面提到的这些问题的。protobuf拥有灵活性、高效率、自动化的特性。使用protobuf时，你只需要写一个.proto的数据结构描述文件，protobuf提供的编译器就可以自动将.proto文件编译成你想要的编程语言的代码，这些自动生成的代码里实现了编码、解码、读写这些格式数据的功能。更重要的是，protobuf格式支持后续扩展，扩展后的格式仍然可以兼容旧格式。

详细对比XML/JSON

上面我们多次提到了XML/JSON，它们有类似的地方，但是也有很多不同。

相对于XML或JSON，Protocol buffers有许多优点：
** 序列化出来的数据更精炼
** 序列化出来的字节数缩小3-10倍
** 序列化的性能快20-100倍
** 数据歧义更少
** 可以自动生成用于访问数据结构的代码

但同样，有一些情况下proto不如XML或JSON：
** XML/JSON拥有人类可读性、可编辑性，但是protobuf不可以（至少原生protobuf序列化的数据不可以）
** XML/JSON有自描述性，但是proto的数据没有意义，除非你能拿到定义文件（.proto）

所以通常protobuf更适合使用在对数据字节数比较敏感的场景，对序列化/反序列化性能要求高的场景。比如游戏开发这种高并发、数据包的频次非常高、手游对流量敏感就是一个很适合的场景。

protobuf的工作流

protobuf有两个版本，分别是proto2和proto3，后面我们学习的时候使用的都是新版的proto3，如果你后续在查找资料时发现不相同的地方，一定要确认下是哪个版本。

1. 定义.proto文件

首先你入要在.ptoto文件中定义你想要传输的数据结构。.proto文件很简单：使用message来定义每一个需要序列化的数据结构，每个message里面可以定义类型和名称。

2. 编译.proto文件

使用protobuf提供的编译工具，将.proto文件编译为对应开发语言的数据结构代码。

3. 在代码中序列化和解析

在代码中将数据结构序列化成字节数组发送出去，或者将接收到的字节数组反序列化成内存中的数据。

总结

大智：“具体详细的.proto文件如何编写，后面我们一起详细探索。”

思考题

大智：“把之前的聊天系统的消息写成一个proto文件试试。”
小新：“好嘞！”
大智：“收获别忘了分享出来！也别忘了分享给你学Unity的朋友，也许能够帮到他。”

---

《大话Unity2019》，大智带小新学Unity2019的有趣经历，让你学Unity更简单。

https://edu.hongliu.cc