Thrift的一些概念

Posted 2020-11-10 alian

       Thrift最初是由Facebook开发的，因为随着流量和网络结构的扩展，一些操作如搜索、分发、事件日志记录等已经超出系统的处理范围，所以Facebook的工程师开发服务时选择了多种不同的编程语言来达到满意的性能、快速开发、已有库的重用。Thrift于2007年4月开源并于2008年5月进入Apache孵化器，在2010年10月成为Apache TLP。

       Thrift是一个可扩展的跨语言服务的软件开发框架，目标是尽可能高效和无缝地跨语言进行可靠的高性能通信和数据序列化，Thrift通过中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型，利用代码生成器生成不同语言的代码（如C++,Java, Python, php. . .等），并由生成的代码负责RPC协议层和传输层的实现。

 

Thrift网络堆栈

   +-------------------------------------------+

  | Server                                    |
  | (single-threaded, event-driven etc)       |
  +-------------------------------------------+
  | Processor                                 |
  | (compiler generated)                      |
  +-------------------------------------------+
  | Protocol                                  |
  | (JSON, compact etc)                       |
  +-------------------------------------------+
  | Transport                                 |
  | (raw TCP, HTTP etc)                       |
  +-------------------------------------------+

传输（Transport）

传输层为网络读取/写入网络提供了一个简单的抽象，这使得Thrift能够将底层传输与系统其它部分分离（如序列化/反序列化）。下面是一些Transport接口支持的方法

● open

● close

● read

● write

● flush

另外Thrift还提供了用于接收和创建基本Transport对象的ServerTransport接口。顾名思义，ServerTransport主要用于服务器端，为传入连接创建新的Transport对象。ServerTransport接口支持的方法

● open
● listen
● accept
● close

 

协议（Protocol）

协议层抽象定义了将内存数据结构映射为传输格式的机制。换句话说，一个协议规定了数据类型如何使用Transport来对自身进行编码/解码。因此，协议实现管理编码方案并负责序列化和反序列化。Protocol实现的一些例子包括JSON，XML，纯文本，紧凑二进制等。

Protocol接口有

writeMessageBegin(name, type, seq)
writeMessageEnd()
writeStructBegin(name)
writeStructEnd()
writeFieldBegin(name, type, id)
writeFieldEnd()
writeFieldStop()
writeMapBegin(ktype, vtype, size)
writeMapEnd()
writeListBegin(etype, size)
writeListEnd()
writeSetBegin(etype, size)
writeSetEnd()
writeBool(bool)
writeByte(byte)
writeI16(i16)
writeI32(i32)
writeI64(i64)
writeDouble(double)
writeString(string)

name, type, seq = readMessageBegin()
                  readMessageEnd()
name = readStructBegin()
       readStructEnd()
name, type, id = readFieldBegin()
                 readFieldEnd()
k, v, size = readMapBegin()
             readMapEnd()
etype, size = readListBegin()
              readListEnd()
etype, size = readSetBegin()
              readSetEnd()
bool = readBool()
byte = readByte()
i16 = readI16()
i32 = readI32()
i64 = readI64()
double = readDouble()
string = readString()

Thrift的Protocol是面向流设计的，因此没有必要去显式分帧(framing)。比如，在开始序列化之前我们可以不用关心我们传输的字符串长度或者列表中元素的个数。在Thrift支持的大部分编程语言中可供使用的Protocol类型有：

• binary：简单二进制编码–字段长度和类型被编码成二进制并紧跟在实际字段值后面
• compat: 详情见THRIFT-110
• json

 

 

处理层（Processor）

处理层封装了从输入流中读取数据并写入输出流的能力。Protocol对象即代表输入流和输出流。Processor接口非常简单。

interface TProcessor {
    bool process(TProtocol in, TProtocol out) throws TException
}

特定服务的Processor由编译器自动生成实现。Processor通过输入Protocol从网路上读取数据，并将数据处理代理给用户实现的Handler，最后通过输出Protocol将数据写回到网路上。

 

服务器层（server）

服务器层将上述所有各种功能汇集在一起??：

• 创建一个Transport
• 为Transport创建输入/输出Protocol
• 基于输入/输出Protocol创建一个Processor
• 等待传入连接并将它们交给处Processor