漫谈grpc 4:grpc和其他rpc框架的横向对比,到底好在哪里?

Posted 黄小斜

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了漫谈grpc 4:grpc和其他rpc框架的横向对比,到底好在哪里?相关的知识,希望对你有一定的参考价值。

1,什么是grpc

  • gRpc 是一个高性能、开源和通用的 RPC 框架,面向移动和 HTTP/2 设计。目前提供 C、Java 和 Go 语言版本,分别是:grpc, grpc-java, grpc-go. 其中 C 版本支持 C, C++, Node.js, Python, Ruby, Objective-C, php 和 C# 支持.
  • gRPC 基于 HTTP/2 标准设计,带来诸如双向流、流控、头部压缩、单 TCP 连接上的多复用请求等特。这些特性使得其在移动设备上表现更好,更省电和节省空间占用。
  • 参考:grpc官方文档英文版grpc官方文档中文版

2,为什么我们要用grpc

  • 生态好:背靠Google。还有比如nginx也对grpc提供了支持,参考链接
  • 跨语言:跨语言,且自动生成sdk
  • 性能高:比如protobuf性能高过json, 比如http2.0性能高过http1.1
  • 强类型:编译器就给你解决了很大一部分问题
  • 流式处理(基于http2.0):支持客户端流式,服务端流式,双向流式

3,grpc 的优点是怎么实现的

3.1 grpc性能高:protobuf为什么比json性能高?

1,什么是protobuf?

  • Protobuf是由Google开发的二进制格式,用于在不同服务之间序列化数据。是一种IDL(interface description language)语言

2,他比json快多少?

3,为什么protobuf比json快?

  • protobuf的二进制数据流和json数据流如下图
  • 对比json数据和protobuf数据格式可以知道
    • 体积小-无需分隔符:TLV存储方式不需要分隔符(逗号,双引号等)就能分隔字段,减少了分隔符的使用
    • 体积小-空字段省略:若字段没有被设置字段值,那么该字段序列化时的数据是完全不存在的,即不需要进行编码,而json会传key和空值的value
    • 体积小-tag二进制表示:是用字段的数字值然后转换成二进制进行表示的,比json的key用字符串表示更加省空间
    • 编解码快:tag的里面存储了字段的类型,可以直接知道value的长度,或者当value是字符串的时候,则用length存储了长度,可以直接从length后取n个字节就是value的值,而如果不知道value的长度,我们就必须要做字符串匹配
  • 细化了解protobuf的编码可以去看:varint 和 zigzag编码方式

3.2 grpc性能高:http2.0为什么比http1.1性能高?

1,多路复用

  • http2.0和http 1. 还有 http1.1pipling的对比*
    • 示意图
    • http/1.* :一次请求,一个响应,建立一个连接用完关闭,每一个请求都要建立一个连接
    • http1.1 pipeling: Pipeling解决方式为,若干个请求排队串行化单线程处理,后面的请求等待前面请求的返回才能获得执行机会,一旦有某请求超时等,后续请求只能被阻塞,毫无办法,也就是人们常说的线头阻塞
    • http2: 多个请求可同时在一个连接上并行执行。某个请求任务耗时严重,不会影响到其它连接的正常执行
  • grpc 多路复用还有哪些优点 - 减少了tcp的连接,降低了服务端和客户端对于内存,cpu等的压力 - 减少了tcp的连接,保证了不频繁触发tcp重新建立,这样就不会频繁有慢启动 - 减少了tcp的连接,使网络拥塞情况得以改善
  • 为什么http/1.1不能实现多路复用而http2.0可以? - 因为http/1.1传输是用的文本,而http2.0用的是二进制分帧传输

2, 头部压缩

  • 固定字段压缩:http可以通过http对body进行gzip压缩,这样可以节省带宽,但是报文中header也有很多字段没有进行压缩,比如cookie, user agent accept,这些有必要进行压缩
  • 避免重复:大量请求和响应的报文里面又很多字段值是重复的,所以有必要避免重复性
  • 编码改进:字段是ascii编码,效率低,改成二进制编码可以提高
  • 以上通过HPACK算法来进行实现,算法主要包含三个部分
    • 静态字典:将常用的header字段整成字典,比如":method":"GET" 就可以用单个数字 2来表示
    • 动态字典:没有在静态字典里面的一些头部字段,则用动态字典
    • Huffman 编码: 压缩编码

3, 二进制分帧

  • 在二进制分帧层上,HTTP 2.0 会将所有传输的信息分割为更小的消息和帧,并对它们采用二进制格式的编码 ,其中HTTP1.x的首部信息会被封装到Headers帧,而我们的request body则封装到Data帧里面。
  • 这样分帧以后这些帧就可以乱序发送,然后根据每个帧首部的流标识符号进行组装
  • 对比http/1.1因为是基于文本以换行符分割每一条key:value则会有以下问题:
    • 一次只能处理一个请求或者响应,因为这种以分隔符分割消息的数据,在完成之前不能停止解析
    • 解析这种数据无法预知需要多少内存,会给服务端有很大压力

4, 服务器主动推送资源

  • 由于支持服务器主动推送资源,则可以省去一部分请求。比如你需要两个文件1.html,1.css,如果是http1.0则需要请求两次,服务端返回两次。但是http2.0则可以客户端请求一次,然后服务端直接回吐两次


作者:蜗牛Snail
链接:https://juejin.cn/post/6969787751084654605
来源:稀土掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

rpc框架横向比对

1、RPC 框架谁最美?


Hello,everybody!说到RPC框架,可能大家能想到一堆RPC开源框架,那么在微服务平台中,微服务间的服务调用,不可避免的会遇到一个问题,该选用哪一个RPC框架好呢?今天我们就请到三位RPC框架,来进行一场选美大赛,看看谁更适合微服务平台中的服务间调用。

大家好,我是Dubbo!我是阿里开源的分布式服务框架,最大的特点是按照分层的方式来架构,使用这种方式可以使各个层之间解耦合(或者最大限度地松耦合)。


大家好,我是Motan!我是微博开源的一套高性能、易于使用的分布式远程服务调用(RPC)框架。

大家好,我是gRPC!我是Google开源的一套面向移动和HTTP/2设计的,高性能的、通用的远程调用框架。

2、RPC框架的形体争美

  • 配置方式

    Motan:我支持 Xml 配置和 Spring注解配置。 

    Dubbo:我支持 Xml 配置 、 注解配置、 属性配置 、 API 配置 !

    gRPC:我,我只支持 API 配置 。

    主持人: Xml 配置是用 xml 文件来配置协议 、 服务 、 注册中心等信息 ,这是 rpc 框架最常用的配置方式,也是最基本的配置方式; 属性配置 是 用 properties 文件来配置协议 、 服务 、 注册中心等信息 , 和Xml 配置使用上异曲同工 ; 注释配置是声明 Annotation 用来指定需要解析的包名 , 使用 spring-boot 启动服务 ,这是很多 RPC 所追求的,简化了我们代码的书写, Maton 也是最新版本才开始支持的; API 配置是 Dubbo 的 API 配置仅用于 OpenAPI, ESB, Test, Mock 等系统集成 , API 属性与配置项一对一。

  • 服务通信协议

    Motan:我支持 Motan 协议,使用tcp 长连接模式,基于 netty通信。

    Dubbo:我支持 Dubbo 协议、 Rmi 协议、 Hessian 协议、 HTTP 协议、 WebService 协议、Dubbo Thrift 协议、Memcached 协议!

    gRPC:我,我支持 HTTP/2.0 协议,基于 Netty4.1.3 通信。

  • 序列化

    Motan:我默认使用对 java 更友好的 hessian2 进行序列化,还支持 Json 格式。

    Dubbo:Dubbo 协议缺省序列化为hessian2 , rmi 协议缺省为java , http 协议缺省为 json!

    gRPC:哼!说到序列化,我是独一无二的!我使用 ProtoBuf 来定义服务!

    主持人: gRPC 使用的 ProtoBuf 是由 Google 开发的一种数据序列化协议,用户使用 .proto 文件定义服务,并支持定义多种类型的方法参数。 ProtoBuf 能够将数据进行序列化,并广泛应用在数据存储、通信协议等方面。不过,当前 gRPC 仅支持 Protobuf ,且不支持在浏览器中使用。但由于 gRPC 的设计能够支持支持多种数据格式,所以能够很容易实现对其他数据格式(如 XML 、 JSON 等)的支持。这就是我强大的 IDL 特性!

  • 负载均衡

  • Motan:我支持 ActiveWeight 、Random 、 RoundRobin 、LocalFirst 、 Consistent 、ConfigurableWeight 。

    Dubbo:我可以支持 Random 、RoundRobin 、ConsistentHash 、 LeastActive。

    gRPC:我,我提供了可插拔负载均衡器的机制。

    主持人:这里让我来解释下每种负载均衡的模式吧 !

  • ActiveWeight / LeastActive :低并发度优先, referer 的某时刻的 call 数越小优先级越高。

  • Random :随机,按权重设置随机概率。在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用权重后也比较均匀,有利于动态调整提供者权重。

  • RoundRobin :轮循,按公约后的权重设置轮循比率。存在慢的提供者累积请求问题,比如:第二台机器很慢,但没挂,当请求调到第二台时就卡在那,久而久之,所有请求都卡在调到第二台上。

  • LocalFirst :本地服务优先获取策略。

  • Consistent :一致性 Hash ,相同参数的请求总是发到同一提供者。当某一台提供者挂时,原本发往该提供者的请求,基于虚拟节点,平摊到其它提供者,不会引起剧烈变动。

  • ConfigurableWeight :权重可配置的负载均衡策略。

  • 容错

    Motan:我支持 Failover 失效切换、Failfast 快速失败。

    Dubbo:我支持 Failover 、 Failfast 、Failsafe 、 Failback 、 Forking、 Broadcast 。

    gRPC:我,我 具有 Failover 失效切换的容错策略。

    主持人:依旧由我给大家介绍下各种容错机制 !

  • Failover :失败自动切换,当出现失败,重试其它服务器。通常用于读操作,但重试会带来更长延迟。

  • Failfast :快速失败,只发起一次调用,失败立即报错。通常用于非幂等性的写操作,比如新增记录。

  • Failsafe :失败安全,出现异常时,直接忽略。通常用于写入审计日志等操作。

  • Failback :失败自动恢复,后台记录失败请求,定时重发。通常用于消息通知操作。

  • Forking :并行调用多个服务器,只要一个成功即返回。通常用于实时性要求较高的读操作,但需要浪费更多服务资源。

  • Broadcast :广播调用所有提供者,逐个调用,任意一台报错则报错。通常用于通知所有提供者更新缓存或日志等本地资源信息。

  • 注册中心与服务发现

    Motan:我支持使用 Consul 作为注册中心、使用 Zookeeper 作为注册中心、点对点直连。

    Dubbo:我支持使用 Zookeeper 作为注册中心、使用 Redis 注册中心、使用 Multicast 注册中心、使用 Simple 注册中心。

    gRPC:我,我只能让用户自己扩展注册中心 。

  • 性能

    Motan:在高并发、高负载场景的场景下,我的 平均 TPS 和平均响应时间依旧保持良好,我具备在高压力场景下的高可用能力。

    Dubbo:Dubbo2.0 相比较 Dubbo1.0(默认使用的都是 hessian2序列化)性能均有提升。如对性能有更高要求可以使用dubbo 序列化,由其是在处理复杂对象时。 Dubbo 的设计目的是为了满足高并发小数据量的 rpc 调用,在大数据量下的性能表现并不好,建议使用 rmi 或 http 协议。

    gRPC:我采用的是 ProtoBuf 序列化协议 , ProtoBuf 与其他协议的性能对比 ,非常明显 的ProtoBuf 要远远优于其他 。

    主持人:三者的性能测试在各自官方说明上都可以看到详细的性能测试报告 , 这里我们 并不做 详细说明 。

3、RPC框架的才艺角逐

Motan :通过 spring 配置方式集成,无需额外编写代码即可为服务提供分布式调用能力完全不需要任何 xml 配置文件, Dubbo 的注解配置还需要配合 xml 文件的哦 。

Dubbo :无论从支持的注册中心还是容错机制上看,都是我 Dubbo 的优势更大!

Motan : 明显支持负载均衡的模式我更多 。 我 拥有自定义动态负载均衡、跨机房流量调整等高级服务调度能力。

Dubbo :成熟度更高的我在健壮性和伸缩性上还能比你们差么?让我来一一例举。 说到健壮性 ,监控中心宕掉不影响使用,只是丢失部分采样数据;数据库宕掉后,注册中心仍能通过缓存提供服务列表查询,但不能注册新服务;注册中心对等集群,任意一台宕掉后,将自动切换到另一台;注册中心全部宕掉后,服务提供者和服务消费者仍能通过本地缓存通讯;服务提供者无状态,任意一台宕掉后,不影响使用;服务提供者全部宕掉后,服务消费者应用将无法使用,并无限次重连等待服务提供者恢复。至于伸缩性,注册中心为对等集群,可动态增加机器部署实例,所有客户端将自动发现新的注册中心;服务提供者无状态,可动态增加机器部署实例,注册中心将推送新的服务提供者信息给消费者。

Motan :对,我在功能上或许不是那么全面,但我更注重简单、易用以及在高并发高可用场景的使用。服务发现灵活支持多种配置管理组件,基于高并发高负载场景的高可用策略优化,良好的 SPI(Service Provider Interface) 扩展,详细的调用统计,灵活支持多种 RPC 传输协议。

Dubbo :说了这么多你能支持泛型调用么?我能! Dubbo 提供 GenericService 泛型调用接口 , 让用户的调用更加灵活 。

Motan : 我的 工程依赖只涉及核心 5 个模块,且可以按需依赖,不要的说舍弃就舍弃。看看你那么一堆堆的工程,啧啧啧 ……

gRPC : 哼 ! 本宝宝支持 服务的跨语言调用,目前所支持语言类型有 C++ 、 JAVA 、 GO 、 Python 、 Ruby 、 Node.js 、 android 、 C# 、 PHP 、 Objective-C ,你们可以么?

Motan : 额 ,是啊,我们不能,可是你有服务发现相关机制么?

Dubbo :而且你的负载均衡和容错也太弱了 …..

gRPC : 嘤嘤嘤 ……

4、RPC框架的终极PK

Dubbo作为阿里开源的分布式服务框架,实现高性能的 RPC 调用同时提供了丰富的管理功能,是一款应用广泛的优秀的 RPC 框架,但现在较少维护更新。如果你需要一款高成熟度的服务治理型的RPC框架,不如选我!


Motan作为微博的 Motan RPC 倾向于服务治理型,与 Dubbo 系列相比在功能上或许不是那么全,扩展实现也没有那么多,但如果你需要一款高性能轻量级易上手的RPC框架,记得选我!

gRPC作为google2015年才开源的跨语言调用型的RPC框架,侧重于服务的跨语言调用,能够支持大部分的语言进行语言无关的调用,非常适合多语言调用场景。如果你需要支持多语言,跨语言调用的RPC框架,选我吧!

看了以上三位RPC框架的选美比赛不知道大家是否都有了自己的选择。当然,现如今的市场中开源的RPC远远不止这三个,到底哪个才是你现在所需要的,这里也只是个参考,也是我们在微服务中RPC框架选择的一个方向,最终的选择还是要“因地制宜”。

作为踏入微服务行列的普元,我们的微服务平台采用了 Maton RPC 框架,高并发高负载 、轻量易维护 以及无需任何额外代码和配置的 Spring 注解配置,都是我们所需要的。当然我们也并不是完全满足于当前的Maton 功能,不过 Motan 良好的扩展机制,也给我们提供了便利,我们扩展了 ETCD 注册中心以及我们自己的日志记录方式,当然还有更多的贴合我们实际应用的改造。相信在每个正在寻找微服务交互的 RPC 框架的你们,经过反复的对比研究,也能找到你们心中的那个唯一!

以上是关于漫谈grpc 4:grpc和其他rpc框架的横向对比,到底好在哪里?的主要内容,如果未能解决你的问题,请参考以下文章

漫谈gRPC

技术漫谈 | 使用gRPC-Gateway快速构建微服务

grpc教程横向比较与grpc通信模式

互联网协议 — gRPC 的 4 种服务定义及调用方式

gRPC 1.34.0 发布,高性能 RPC 框架

Grpc原理