GRPC与 ProtoBuf 的理解与总结

Posted 2023-05-18 香吧香

转载请注明出处:

1.GRPC

　　官网：https://www.grpc.io/

　　gRPC 官方文档中文版：http://doc.oschina.net/grpc

　　RPC 框架的目标就是让远程服务调用更加简单、透明，其负责屏蔽底层的传输方式（TCP/UDP）、序列化方式（XML/Json）和通信细节。服务调用者可以像调用本地接口一样调用远程的服务提供者，而不需要关心底层通信细节和调用过程。

       gRPC 是一个高性能、开源和通用的 RPC 框架，面向移动和 HTTP/2 设计。目前提供 C、Java 和 Go 语言版本，分别是：grpc, grpc-java, grpc-go. 其中 C 版本支持 C, C++, Node.js, Python, Ruby, Objective-C, PHP 和 C# 支持.

　　在 gRPC 里客户端应用可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法，使得您能够更容易地创建分布式应用和服务。与许多 RPC 系统类似，gRPC 也是基于以下理念：定义一个服务，指定其能够被远程调用的方法（包含参数和返回类型）。在服务端实现这个接口，并运行一个 gRPC 服务器来处理客户端调用。在客户端拥有一个存根能够像服务端一样的方法。

　　GRPC 的优点：

• 高兼容性、高性能、使用简单

 　　gRPC 的组成部分：

• 使用 http2 作为网络传输层

• 使用 protobuf 这个高性能的数据包序列化协议

• 通过 protoc gprc 插件生成易用的 SDK

2.protobuf序列化协议　

2.1 什么是ProtoBuf

　　ProtoBuf(Protocol Buffers)是一种跨平台、语言无关、可扩展的序列化结构数据的方法，可用于网络数据交换及存储。

　　protoBuf 是一种Google开发的高效的二进制数据交换格式，常用于不同编程语言之间的数据通信。

　　在序列化结构化数据的机制中，ProtoBuf是灵活、高效、自动化的，相对常见的XML、JSON，描述同样的信息，ProtoBuf序列化后数据量更小 (在网络中传输消耗的网络流量更少)、序列化/反序列化速度更快、更简单。

　　一旦定义了要处理的数据的数据结构之后，就可以利用ProtoBuf的代码生成工具生成相关的代码。只需使用 Protobuf 对数据结构进行一次描述，即可利用各种不同语言(proto3支持C++, Java, Python, Go, Ruby, Objective-C, C#)或从各种不同流中对你的结构化数据轻松读写。

 

2.2 ProtoBuf 协议的工作流程

                  

　　在开发 gRPC 应用程序时，先要定义服务接口，其中应包含如下信息：消费者消费服务的方式、消费者能够远程调用的方法以及调用这些方法所使用的参数和消息格式等。在服务定义中所使用的语言叫作接口定义语言（interface definition language，IDL）。

　　借助服务定义，可以生成服务器端代码，也就是服务器端骨架 （这里的“骨架”和“存根”都是代理。服务器端代理叫作“骨架”（skeleton），客户端代理叫作“存根”（stub）。），它通过提供低层级的通信抽象简化了服务器端的逻辑。同时，还可以生成客户端代码，也就是客户端存根，它使用抽象简化了客户端的通信，为不同的编程语言隐藏了低层级的通信。就像调用本地函数那样，客户端能够远程调用我们在服务接口定义中所指定的方法。底层的 gRPC 框架处理所有的复杂工作，通常包括确保严格的服务契约、数据序列化、网络通信、认证、访问控制、可观察性等。

 

3. grpc与protoBuf关系

　　Protocol Buffers 是一种轻便高效的数据序列化框架，可以将结构化数据序列化为二进制格式，以便于网络传输和存储。通过定义数据结构的 .proto 文件，可以使用 Protocol Buffers 编译器生成各种编程语言的序列化和反序列化代码。Protocol Buffers 的优点是序列化后的数据大小远小于 XML 和 JSON，并且序列化和反序列化的速度也非常快。

　　gRPC 是一种基于 HTTP/2 协议的高性能、开源的远程过程调用（RPC）框架。gRPC 使用 Protocol Buffers 作为其默认的数据序列化协议，可以快速地生成客户端和服务端的代码，并且支持多种编程语言。gRPC 的核心特性包括：高性能、双向流、流控制、多种编程语言支持、易于扩展等。

　　gRPC 和 Protocol Buffers 是相互关联的，Protocol Buffers 提供了数据序列化和反序列化的功能，而 gRPC 则在此基础上实现了高性能、跨语言、易扩展的远程过程调用框架。

 

在Go中对gRPC+ProtoBuf与Http+Json进行基准测试

文 | ALEX PLIUTAU
共 1415 字，阅读需 4 分钟

服务之间通信的最简单的解决方案是使用JSON over HTTP。尽管JSON具有许多明显的优点（比如它具有很好的可读性，易于理解，且通常性能良好），但它还是有一些问题的。在局域网内的数据交互，Google的Protocal Buffer这种结构编码是比JSON更好的选择。

gRPC默认使用protobuf，它更快，因为它是二进制的且是类型安全的。我编写了一个演示项目，使用JSON over HTTP与使用gRPC API的方式进行了一次基准测试。

该库包含2个相同的API：基于Protobuf的gRPC和JSON over HTTP。目的是进行两种方式的基准测试，并对结果进行比较。API只包含一个创建用户的接口，请求(Request)的过程包含验证的步骤。在2种方式的程序中，请求、验证和响应这几个步骤都是相同的，所以我们只是测试整个响应过程。当然，基准测试还包括响应解析。

我使用Go 1.9，结果表明，gRPC性能是JSON over HTTP的10倍：

BenchmarkGRPCProtobuf-8   	   10000	    197919 ns/op
BenchmarkJSONHTTP-8       	    1000	   1720124 ns/op

CPU使用情况比较

重新启动应用程序，我使用性能测试工具pprof对API服务器进行了30秒的请求，命令行如下：

go tool pprof http://localhost:6060/debug/pprof/profile
go tool pprof http://localhost:6061/debug/pprof/profile

我每次运行pprof后使用top中查看CPU使用情况，结果显示，Protobuf的资源消耗较少，是Http消耗资源的的70%。

自己测试一下

如果要自己测试，可以复制此库(https://github.com/plutov/benchmark-grpc-protobuf-vs-http-json)的代码并运行：

glide i
go run grpc/main.go
go run json/main.go
go test -bench=.

结论

很明显，在内部网络通讯时最好是使用gRPC，客户端调用将更加简洁，您不必担心数据的序列与反序列化，因为这些gRPC都为您提供了。