thrift 原理浅析
Posted wx62a6c3f71e775
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了thrift 原理浅析相关的知识,希望对你有一定的参考价值。
RPC 原理
RPC( Remote Procedure Call ) 远程调用过程。
1. 定义了一个接口文件,描述了对象,对象成员,接口方法等一系列信息。
2.通过RPC 框架提供的编译器,将接口说明文件编译成对应的语言文件。
2. 在客户端和服务端分别引用 RPC 编译器生成的文件,即可像调用本地方法一样远程调用。
RPC 通信过程如下:
1. 客户端以正常方式调用客户桩(client stub)
2. 客户桩生成一个消息,然后调用本地操作系统。
3. 客户端操作系统将消息发送给原程操作系统。
4. 远程操作系统将消息交给服务器桩
5. 服务器桩将参数提取出来,然后调用服务过程
6. 服务器执行要求的操作,操作完成后将结果返回给服务器桩,
7. 服务器桩将结果打包成一个消息, 然后调用本地操作系统。
8. 服务器操作系统将含有结果的消息发送给客户端操作系统
9. 客户端操作系统将消息交给客户桩
10. 客户桩将结果提取出来,返回给他的调用方
- 资源粒度, RPC 调用类似于本地调用,RESTful API 每一次添加接口都可能需要额外开发接口的数据,这相当于应用视图中再写一次方法调用。
- 流量消耗,RestFull API 在应用层和使用 HTTP 协议, 即使是传输高效的 JSON 也会消耗较大流量, RPC 可以使用 TCP,也可以使用 UDP , 而且可以编码,降低数据大小和减少流量消耗。
Thrift 架构
Thrift 作用于各个服务之间的 RPC 通信,支持跨语言,thrift 是一个典型的 CS 框架,客户端服务端可以使用不同的语言开发, thrift 通过 IDL (Interface Description Language) 来关联客户端和服务器。
Thrift 整体架构
在这里插入图片描述
- your code 是业务逻辑代码
- FooService.Client /Foo.Processor() + Foo.Write() Foo.Read是 thrift 根据 IDL 生成的客户端和服务端代码,对应的是 RPC 中的 Client Stub 和 Server Stub
- TProtocol 是用来对数据进行序列化和反序列化。
- TTransport 提供传输数据功能,使用 Apache Thrift 可以方便的定义一个服务并选择不同的传输协议。
Thrift 网络栈架构
在这里插入图片描述
TTransport 层
- TSocket :阻塞 Socket
- TFrametransport :以 frame 为单位进行传输, 非阻塞式服务中使用
- TFileTransport : 以文件形式进行传输
TProtocol 层
代表 thrift 客户端和服务端之间的传输数据的协议,指的是客户端和服务端传输数据的格式,比如 Json, thrift 中有如下格式:
- TBinaryProtocol:二进制格式
- TCompactProtocol:压缩格式
- TJSONProtocol : Json 格式
- TSimpleJsonProtocol:提供只写的 JSON 协议
Thrift 支持的 Server 模型
- TSimpleServer :用于简单的单线程模型,常用于测试
- TThreadPoolServer :多线程模型,使用标准的阻塞 IO
- TNoBlockingServer: 多线程服务模型,使用非阻塞 IO,需要使用TFramedTransport 数据传输方式。
- THsHaServer : THsHa 引入了线程池去处理,其模型读写任务放到线程池去处理,Half-sync/Half-async处理模式,Half-async是在处理IO事件上(accept/read/write io),Half-sync用于handler对rpc的同步处理;
Thrift 支持的基本数据类型
- byte: 有符号字节
- i16: 16 位有符号整数
- i32 : 32 位有符号整数
- i64: 64 位有符号整数
- double : 64 位浮点数
- string : 字符串
Thrift 支持的容器类型
- list:一系列由 T 类型的数据组成的有序列表, 元素可以重复
- set : 一系列由 T 类型组成的无序集合,元素不可以重复
- map: 一个字典结构,Key 为 K 类型, Value 为 V 类型,和 Java 中的 HashMap 类似
thrift 支持 struct 类型,可以将一些数据类型聚合到一块。
struct People
1:string name;
2:i32 age;
3:string gender;
thrift 支持枚举类型
enum Gender
MALE,
FEMALE
thrift 支持异常类型
exception RequestException
1:i32 code;
2:string reason;
thrift 定义 Service. 格式如下:
service HelloWorldService
// service中可以定义若干个服务,相当于Java Interface中定义的方法
string doAction(1:string name, 2:i32 age);
thrift 支持给类型定义别名
typedef i32 int
typedef i64 long
thrift. 支持常量的定义
const i32 MAX_RETRIES_TIME = 10;
const string MY_WEBSITE = "http://facebook.com";
thrift 支持命名空间,相当于 Java 中的package.
namespace java com.test.thrift.demo
#、//、/**/都可以作为thrift文件中的注释。
thrift提供两个关键字required和optional,分别用于表示对应的字段是必填的还是可选的(推荐尽量使用optional),如下
struct People
1:required string name;
2:optional i32 age;
thrift也支持文件包含,相当于CPP中的include,Java中的import,使用关键字include:
include "global.thrift"
thrift IDL 例子
// data.thrift
namespace java thrift.generated
namespace py py.thrift.generated
typedef i16 short
typedef i32 int
typedef i64 long
typedef bool boolean
typedef string String
// struct关键字用于定义结构体,相当于面向对象编程语言中的类
struct Person
// 相当于定义类中的成员,并生成相应的get和set方法,optional表示username这个成员可以没有
1: optional String username,
2: optional int age,
3: optional boolean married
// 定义一个异常类型,用于接口中可能抛出的异常
exception DataException
1: optional String message,
2: optional String callStack,
3: optional String date
// 定义服务接口
service PersonService
Person getPersonByUsername(1: required String username) throws (1: DataException data),
void savePerson(1: required Person person)
执行 thrift --gen java src/thrift/data.thrift 生成代码.
thrift 如何安装
客户端可以像调用本地的方法一样调用服务端的方法
生成代码结构如下:
欢迎关注公众号:程序员开发者社区
微信号:程序员开发者社区
博客:王小明
关注我们,了解更多
以上是关于thrift 原理浅析的主要内容,如果未能解决你的问题,请参考以下文章
浅析在QtWidget中自定义Model(beginInsertRows()和endInsertRows()是空架子,类似于一种信号,用来通知底层)