Thrift快速入门

Posted 2020-08-28 jxwch

Thrift 简单示例

2017-01-19 16:47:57

首先通过先面两个示例简单感受一下Thrift（RPC）服务端与客户端之间的通信......

RPC学习----Thrift快速入门和Java简单示例

Thrift入门及Java实例演示

Thrift 是什么？

Thrift 源于大名鼎鼎的 facebook 之手，在 2007 年 facebook 提交 Apache 基金会将 Thrift 作为一个开源项目,对于当时的 facebook 来说创造 thrift 是为了解决 facebook 系统中各系统间大数据量的传 输通信以及系统之间语言环境不同需要跨平台的特性。所以 thrift 可以支持多种程序语言,例如: C++, C#, Cocoa, Erlang, Haskell, Java, Ocami, Perl, php, Python, Ruby, Smalltalk. 在多种不同的语言之间通信 thrift可以作为二进制的高性能的通讯中间件,支持数据(对象)序列化和多种类型的 RPC 服 务。Thrift 适用于程序对程 序静态的数据交换,需要先确定好他的数据结构,他是完全静态化的,当数据结构发生变化时,必须重新编辑 IDL 文件,代码生成,再编译载入的流程,跟其他 IDL 工具相比较可以视为是 Thrift 的弱项,Thrift 适用于搭建大型数据交换及存储的通用工具,对于大型系统中的内部数据传输相对于 JSON 和 xml 无论在性能、传输大小上有明显的优势。

Thrift 是 IDL(interface definition language)描述性语言的一个具体实现,关于 IDL的话题我们可以追溯到 CORBA 盛行 1999-2001 年(Common Object Request Broker Architecture/公用对象请求代理体系结构),在 IDL 中我们似乎不会忘记到这几个关键字:module、interface、string、long 和 int,我还记得 IDL 利用 module来创建名称空间,并且准确地映射为 Java 的 package,这些特性几乎和现在 thrift的特性完全相同,所以 thrift 的设计思想和理念绝不是什么从火星来的 new idea,看看在那个 CORBA 盛行的年代人们提出的概念,如图所示 CORBA 请求的各个部分,回头我们再与 thrift 进行对比一下:

Thrift 基础架构

Thrift 是一个服务端和客户端的架构体系,从我个人的感官上来看 Thrift 是一个类似XML-RPC+Java-to- IDL+Serialization Tools=Thrift 的东东,Thrift 具有自己内部 定义的传输协议规范(TProtocol)和传输数据标准(TTransports),通过 IDL 脚本对传输数据的数据结构(struct) 和传输数据的业务逻辑(service)根据不同的运行环境快速的 构建相应的代码,并且通过自己内部的序列化机制对传输的数据进行简化和压缩提高高并发、 大型系统中数据交互的成本,下图描绘了 Thrift 的整体架构,分为 6 个部分:

1. 你的业务逻辑实现(Your Code)
2. 客户端和服务端对应的 Service
3. 执行读写操作的计算结果
4. TProtocol
5. TTransports
6. 底层 I/O 通信

图中前面 3 个部分是 1.你通过 Thrift 脚本文件生成的代码,2.图中的褐色框部分是你根据生成代码构建的客户端和处理器的代码,3.图中红色的部分是 2 端产生的计算结 果。从 TProtocol 下面 3 个部分是 Thrift 的传输体系和传输协议以及底层 I/O 通信,Thrift 并且提供 堵塞、非阻塞,单线程、多线程的模式运行在服务器上,还可以配合 服务器/容器一起运行,可以和现有 JEE 服务器/Web 容器无缝的结合。

Thrift 基本数据类型

• bool：布尔值，true 或 false，对应 Java 的 boolean
• byte：8 位有符号整数，对应 Java 的 byte
• i16：16 位有符号整数，对应 Java 的 short
• i32：32 位有符号整数，对应 Java 的 int
• i64：64 位有符号整数，对应 Java 的 long
• double：64 位浮点数，对应 Java 的 double
• string：utf-8编码的字符串，对应 Java 的 String
• struct：定义公共的对象，类似于 C 语言中的结构体定义，在 Java 中是一个 JavaBean
• list：对应 Java 的 ArrayList
• set：对应 Java 的 HashSet
• map：对应 Java 的 HashMap
• exception：对应 Java 的 Exception
• service：对应服务的类

Thrift 数据传输协议

Thrift 可以让你选择客户端与服务端之间传输通信协议的类别,在传输协议上总体上划分为文本(text)和二进制(binary)传输协议, 为节约带宽,提供传输效率,一般情况下 使用二进制类型的传输协议为多数,但有时会还是会使用基于文本类型的协议,这需要根据项目/产品中的实际需求。

• TBinaryProtocol–二进制编码格式进行数据传输
• TCompactProtocol–这种协议非常有效的,使用 Variable-Length Quantity(VLQ) 编码对数据进行压缩
• TJSONProtocol–使用 JSON 的数据编码协议进行数据传输
• TSimpleJSONProtocol–这种节约只提供 JSON 只写的协议,适用于通过脚本语言解析
• TDebugProtocol–在开发的过程中帮助开发人员调试用的,以文本的形式展现方便阅读

Thrift 传输层

• TSocket-使用堵塞式 I/O 进行传输,也是最常见的模式
• TFramedTransport-使用非阻塞方式,按块的大小,进行传输,类似于 Java 中的 NIO
• TFileTransport-顾名思义按照文件的方式进程传输,虽然这种方式不提供 Java 的实现,但是实现起来非常简单
• TMemoryTransport-使用内存 I/O,就好比 Java 中的 ByteArrayOutputStream实现
• TZlibTransport- 使用执行 zlib 压缩,不提供 Java 的实现

Thrift 服务端类型

• TSimpleServer-单线程服务器端使用标准的堵塞式 I/O
• TThreadPoolServer-多线程服务器端使用标准的堵塞式 I/O
• TNonblockingServer–多线程服务器端使用非堵塞式 I/O,并且实现了 Java 中的 NIO 通道

Thrift 与其他传输方式的比较

XML 与 JSON 相比体积太大,但是 XML 传统,也不算复杂。JSON 体积较小,新颖,但不够完善。Thrift 体积超小,使用起来比较麻烦,不如前两者轻便,但是对于 1.高并发、2.数据传 输量大、3.多语言环境, 满足其中 2 点使用 thrift 还是值得的。

服务端编码基本步骤：

1. 实现服务处理接口impl
2. 创建TProcessor
3. 创建TServerTransport
4. 创建TProtocol
5. 创建TServer
6. 启动Server

客户端编码基本步骤：

1. 创建TTransport
2. 创建TProtocol
3. 基于TTransport和TProtocol创建 Client
4. 调用Client的相应方法

tips:客户端和服务端的协议要一致

Thrift接口文件书写

新建文件并命名为demoHello.thrift

1 namespace java com.unionpay.thrifttest
2 
3 service HelloWorldService{
4     string sayHello(1:string username)
5 }

View Code

 

Thrift接口文件编译

1 thrift -r -gen java demoHello.thrift

 

Java服务端代码及解释

 1 import org.apache.thrift.protocol.TCompactProtocol;
 2 import org.apache.thrift.server.TServer;
 3 import org.apache.thrift.server.TSimpleServer;
 4 import org.apache.thrift.transport.TServerSocket;
 5 import org.apache.thrift.transport.TServerTransport;
 6 
 7 public class HelloServerDemo {
 8     
 9     //定义服务端口号
10     public static final int SERVER_PORT = 8090;
11     
12     public static void main(String[] args){
13         HelloServerDemo service = new HelloServerDemo();
14         service.startServer();
15     }
16     
17     public void startServer(){
18         try{
19             System.out.println("HelloWorld TSimpleServer start...");
20             
21         /*    thrift Processor 业务逻辑处理层
22             创建Processor，HelloWorldImpl 实现类作为参数传入Processor构造方法里
23             processor主要完成的事情：
24             1.把idl里定义的方法进行封装，最终暴露出一个统一的接口给thrift server进行调用
25             2.封装protocol和transport层，包括输入输出流的处理细节、序列化反序列化*/            
26             HelloWorldService.Processor<HelloWorldService.Iface> tprocessor = new HelloWorldService.Processor<HelloWorldService.Iface>(new HelloWorldImpl());
27             
28             //创建TServerTransport
29             TServerTransport serverTransport = new TServerSocket(SERVER_PORT);
30             TServer.Args tArgs = new TServer.Args(serverTransport);
31             tArgs.processor(tprocessor);
32             //创建TProtocol
33             tArgs.protocolFactory(new TCompactProtocol.Factory());
34             //创建TServer
35             TServer server = new TSimpleServer(tArgs);
36             //启动TServer
37             server.serve();
38         }catch(Exception e){
39             System.out.println("Server start error!");
40             e.printStackTrace();
41         }
42     }
43 }

View Code

java客户端代码实现及解释

 1 import org.apache.thrift.TException;
 2 import org.apache.thrift.protocol.TCompactProtocol;
 3 import org.apache.thrift.protocol.TProtocol;
 4 import org.apache.thrift.transport.TSocket;
 5 import org.apache.thrift.transport.TTransport;
 6 import org.apache.thrift.transport.TTransportException;
 7 
 8 /**
 9  * @author jxwch 
10  * @date 2017.01.17
11  *
12  */
13 public class HelloClientDemo {
14     
15     //定义Socket服务参数
16     public static final String SERVER_IP = "localhost";
17     public static final int SERVER_PORT = 8090;
18     public static final int TIMEOUT = 30000;
19     
20 
21     public static void main(String[] args){
22         HelloClientDemo client = new HelloClientDemo();
23         client.startClient("jxwch");
24     }
25     
26     public void startClient(String userName){
27         
28         
29         TTransport transport = null;
30         try{
31             //创建TTransport
32             transport = new TSocket(SERVER_IP, SERVER_PORT, TIMEOUT);
33             //创建TProtocol
34             TProtocol protocol = new TCompactProtocol(transport);
35             //创建Client
36             HelloWorldService.Client client = new HelloWorldService.Client(protocol);
37             //启动TTransport
38             transport.open();
39             
40             //调用client中封装的方法
41             String result = client.sayHello(userName);
42             System.out.println("Thrift Client result: " + result);
43         }catch(TTransportException e){
44             e.printStackTrace();
45         }catch(TException e){
46             e.printStackTrace();
47         }finally{
48             if(null != transport){
49                 transport.close();
50             }
51         }
52     }
53 }

View Code

ThriftDemo示例下载

示例源码下载