一文带你了解 Thrift，一个可伸缩的跨语言 RPC 框架（pinpoint 源码分析系列）

港控/mmm° 2023-02-15 03:55 68阅读 0赞

![format_png][]

Thrift 是什么

研究分布式调用链工具pinpoint的时候，在源码里看到了Thrift相关的代码，所以来了兴趣，想研究研究这个框架。

Thrift 目前是 Apache 的一个项目，但是它是由facebook研发产生的。

它的定位是一个 跨语言的RPC服务开发框架。

在各个不同语言环境的系统中承担大量数据传输和通信的工作。

![format_png 1][]

Thrift 支持包括上图中所有等28种语言，所以使得在使用不同编程语言的程序，可以很容易的传输共享数据和进行远程过程调用。

它是一个轻量级的，独立于语言的开发框架，在点对点rpc数据传输，数据的序列化上为我们提供了比较简洁的抽象和实现。

同样的，由于Thrift在传输数据时，采用的是二进制，相对于在HTTP协议中使用的xml和json占用体积更小，在很多高并发、数据量级大的系统中更加有优势。

我们通过定义一个以.thrift结尾的文件作为输入源，内容包含接口的定义，然后通过生成代码的方式，来构建不同语言的RPC客户端和服务端。

![format_png 2][]

###     ###

![format_png][]

Thrift 的各个组件层级

在 Thrift 的客户端和服务端交互中，各个组件都是比较灵活的，做到了充分的低耦合，所以我们可以基于不同的应用场景，选择不同的方式搭建或是语言实现。

![format_png 3][]

由上图，可以看出，最上层是我们编写的Thrift代码，它是一种IDL（接口描述语言）， 是用于描述的服务接口信息的。我们在这个文件中写好相关的注释，就可以用它来作为接口文档，提供给客户端使用了。同时，IDL文件，也是自动生成接口代码的输入源，定义出来的接口能够很灵活的支持扩展。

第二层是使用Thrift编译工具生成的代码，主要用于结构化的数据解析，发送和接收

通信协议层主要是定义数据传输的格式，对传输的数据进行序列化和反序列化， 从协议划分上来说，主要包含两个方面，一是文本，而是二进制，既然使用了Thrift，使用其二进制协议占多数，当然更是要结合实际的业务场景来分析考虑。

![format_png 4][]

传输层负责直接从网络中读取和写入数据，它定义了具体的网络传输协议；比如说TCP/IP传输等。

![format_png 5][]

###     ###

![format_png][]

Thrift 的数据结构

Thrift 脚本可定义的数据类型包括以下几种类型：

![format_png 6][]

图片来自 wangyangfu，其中，byte、i16、i32、i64分别表示：8/16/32/64位有符号整数。

###     ###

![format_png][]

Thrift 和 Http 区别？

其实 Thrift 的主要特点就是跨语言、能自动生成客户端。相对于 http 协议而言，算是比较小众。它是基于 socket，通过 TCP 协议实现，相比较无连接、无状态的 HTTP 协议的，每次打开、关闭连接会比较消耗性能 并且需要管理维护很多 IDL 文件。

基于thrift实现高效的二进制传输 而 http 大部分是通过 json 来实现的，字节大小和序列化耗时都比 Thrift 要更消耗性能。

总的来说，Thrift 更常见用于公司内部的系统服务之间调用，性能消耗比较低，保证服务质量，提高传输效率，而 http 主要用于对外的接口调用，浏览器、移动端、第三方接口等。

###     ###

![format_png][]

Thrift 的安装使用

Thrift的官网地址是：

http://thrift.apache.org

这里我使用的版本是 thrift-0.10.0.exe，下载地址：

http://archive.apache.org/dist/thrift/0.10.0/thrift-0.10.0.exe

将下载好的trift-0.10.0.exe 重命名为 thrift.exe 并且在控制面板--> Path环境变量中配置exe所在的目录 配置好后，命令行执行：

thrift -version 应该会显示

![format_png 7][]

表明安装成功。

###     ###

![format_png][]

Thrift 的编译

新建一个 maven 工程，在intf目录下新建一个 IUserInfo.thrift 文件，内容为：

struct User{
        1: i32 id
        2: string name
    }
    
    service UserService{
        User getUser(1:i32 uid)
    }

cmd命令行进入这个文件所在目录，执行如下命令：

thrift -gen java IUserInfo.thrift

语法格式为：thrift --gen

使用双面面命令即可将IDL文件编译成对应语言的接口文件。

![format_png 8][]

执行完后，会生成两个Java类。当然idea开发工具也提供了Thrift的编译器支持，在插件仓库中搜索安装，配置相关的参数后，也能完成编译。

![format_png 9][]

###     ###

![format_png][]

编写 Thrift 服务端

// 业务处理器
            TProcessor processorr = new UserService.Processor<UserService.Iface>(new UserServiceImpl());
            // 设置服务器
            TServerSocket serverSocket = new TServerSocket(9999);
            // 传输协议为二进制
            TBinaryProtocol.Factory protocolFactory = new TBinaryProtocol.Factory();
            // 使用单线程阻塞 I/O 模型
            TServer.Args simpleArgs = new TServer.Args(serverSocket).processor(processorr).protocolFactory(protocolFactory);
            TServer server = new TSimpleServer(simpleArgs);
            System.out.println("开启侠梦的Thrift服务器，监听端口:9999");
            server.serve();

###     ###

![format_png][]

编写 Thrift 客户端

// 设置调用的服务地址-端口
            TTransport tTransport = new TSocket("localhost", 9999);
            // 使用二进制协议
            TProtocol protocol = new TBinaryProtocol(tTransport);
            // 使用的接口
            UserService.Client client = new UserService.Client(protocol);
            // 打开 Socket
            tTransport.open();
            System.out.println(client.getUser(1));
            tTransport.close();

依次执行Server 端 和Client 后，效果如下：

![format_png 10][]

至此，我们就完成了第一个Thrift 程序的编写。

###     ###

![format_png][]

pinpoint 中 为什么采用 Thrift 呢？

通过使用二进制格式(thrift)可以提高编码速度，虽然它使用和调试要难一些。也有利于减少网络使用，因为生成的数据比较小。

如果将一个长整型转换为固定长度的字符串， 数据大小一般是8个字节。然而，如果你用变长编码，数据大小可以是从1到10个字符，取决于给定数字的大小。

为了减小数据大小，pinpoint 使用 Thrift 的CompactProtocol协议（压缩协议)来编码数据，因为变长字符串和记录数据可以为编码格式做优化。pinpoint agent通过基于跟踪的根方法的时间开始来转换其他的时间来减少数据大小。

固定长度编码和可变长度编码的对比

![format_png 11][]

为了得到关于三个不同方法（见上图）被调用时间的数据，不得不在6个不同的点上测量时间，用固定长度编码这需要48个字节(6 \* 8)。

以此同时，pinpoint agent 使用可变长度编码并根据对应的格式记录数据。然后在其他时间点通过和参考点比较来计算时间值（在vector中），根方法的起点被确认为参考点。这只需要占用少量的字节，因为vector使用小数字。图4中消耗了13个字节。

如果执行方法花费了更多时间，即使使用可变长度编码也会增加字节数量。但是，依然比固定长度编码更有效率。

###     ###

![format_png][]

总结

先总结一下介绍的内容：

*  介绍了Thrift 的基本概念。
 *  Thrift 的协议层的作用
 *  Thrift 的数据结构
 *  Thrift 和 Http 区别？
 *  Thrift 的安装使用
 *  Thrift 的入门例子编写。
 *  Thrift 的编译和运行
 *  pinpoint什么采用 Thrift 的原因？

本篇文章介绍了 跨语言的RPC框架 Thrift的入门知识，起源于研究Pinpoint的源码，在这里想说的是：研究阅读某个框架的源码其实是很耗费精力的一件事，因为不同的人读同样的代码会有不同的感受，这取决于各自的认知和知识深度不同。

但是我觉得思路应该都是一致的，那就是不应该局限在框架本身，而是站在创造者的角度，去思考，为什么最后造出了这样一个优秀的框架，它依赖的那些底层的硬件、或是软件。由点及面的将其剖析完整，希望能帮助到你。

![format_png 12][]

[MySQL存储过程的动态行转列][MySQL]

[Java 应用性能调优的一些实践][Java]

[可视化界面在线生成JVM参数][JVM]

[java内存溢出问题分析过程二(附MAT超全操作文档)][java_MAT]

[使用Eclipse Memory Analyzer Tool（MAT）分析线上故障(一)][Eclipse Memory Analyzer Tool_MAT]

[一文让你理解什么是shallow heap及retained heap][shallow heap_retained heap]

[内存分析诊断系列-理解heap dump][-_heap_dump]

[记一次服务器被当肉鸡挖矿的经历][Link 1]

[如何编写一个可复用的SpringBoot应用运维脚本][SpringBoot]

[高效率编写Dockerfile需要绕过的一些坑][Dockerfile]

[Mysql百万量级数据高效导入Redis][Mysql_Redis]

[多线程之CountDownLatch的用法及原理笔记][CountDownLatch]

![format_png 13][]

我就知道你“在看”

![format_png 14][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy82YVZhT045S2liZjdVOGt5Y2NBbTljNjNnTTFNd2liSnFzZlQ0SEppYzNJcktYajlTZFFHaWJHVVVpYVFxMnF5QXd3aWJpYVU4S0xEYTZyZDFFajZjN3QydjdNUGcvNjQw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRjYzY0dW80UHY5N3RBZlJkd2Z2blNQRzhzTFB0SzlzSEYzZ2FXU1c0MlltM1hoRGRBYmwzWTdJNVdoTHM0QnZzNG1yTWJTdXFpYlRRLzY0MA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRjYzY0dW80UHY5N3RBZlJkd2Z2blM3aWI1ZFB3dk9RR1l5TUZTM1NqUzVBeWhkR3NJelpzMVRZOGljSGJjRldvZEFiaWJjMkZXYXBybEEvNjQw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRjYzY0dW80UHY5N3RBZlJkd2Z2blNxUDFEbnZ2QWljM0VpYk80dmVoZTlkYjgzUnExSzVxbTgzd2licllvMTVzam5yU1B3QVpBQmx6UFEvNjQw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRjYzY0dW80UHY5N3RBZlJkd2Z2blNhUGpMUUhlWGd3eUZtQmJoRGtEM0xEWWZpYTZ1d0p4NmJHSkV2TzlpYWJmMTB3eUw1QUtJVXdPdy82NDA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRjYzY0dW80UHY5N3RBZlJkd2Z2blNiblpScmRnSUprdFZhQ3gyQW9yc0VpYkljN0Y5VjJzTWljVlF0emRxQUpLVGlid2RzNjNpYWhZcE1BLzY0MA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRjYzY0dW80UHY5N3RBZlJkd2Z2blNWQXB0aWFsd2dWRmo5VnBWNjRsTm44SjlaQWVGV2IyaE9kYkZ4Z1M5WnUzUWZRRmZMNHNTOXVBLzY0MA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRjYzY0dW80UHY5N3RBZlJkd2Z2blNKZWhoWFRZOERMYXZ1bmY5UDRCSnVrSDFXUk9VOHRjVUJ6dWFxTzFWbjdJb042TkZ0R2N6aWNBLzY0MA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRjYzY0dW80UHY5N3RBZlJkd2Z2blM2S0hpYmpDRGxDZDBuVkJQUVVad2Y1dW1ZcE1lWUYzR2t3UXo3MHBuRG5pYnhYdXE4V3d3Q3VuQS82NDA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRjYzY0dW80UHY5N3RBZlJkd2Z2blNxMnFpYWhPSzVpYWJScldoNHRnRzVSeGpLbmlhdVo3bDFBMElxNzR3S0lld1AzZFJkd1JnYjc2RkEvNjQw?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRjYzY0dW80UHY5N3RBZlJkd2Z2blNqVDA2eWoyNm9vZWliUXNUYnRJTTM3eVpKN1F4YjQwZmV5WkhGdUdiZE9Kc2hnSXljUDZkV2lidy82NDA?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRjYzY0dW80UHY5N3RBZlJkd2Z2blM0c3djYmNGQVlSWTRuNjdzQUlRQ1lkbHV5OE9WZk1aNFNrY3h4OHBManZ2aWJHSzExNnhIcU5BLzY0MA?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi94aWNXWVRTSUN6UnRDYWxzMWRGZFVjZ1lTWDVFMFhQN2liWklsc2FpYzNnMGg5TWtDT2VONkI5aWNuOHJCa3Z0TnBWbmxoc2hGQ1BxNHFXcjFxMnJYdk5HSmcvNjQw?x-oss-process=image/format,png
[MySQL]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f629cb337f3ffbc90e256e938f1bebcc6cd76b2220c9e68cfa0b9d641330f9c40d466946&idx=1&mid=2247484176&scene=21&sn=e52ec2c145e92753f6b3deee477de88e#wechat_redirect
[Java]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7dccb337ecadd6f748c4d5aae213003d3cc40c501d9865591e18539343083070888203b&idx=1&mid=2247484133&scene=21&sn=70156fc59563970321007d04a3d160b0#wechat_redirect
[JVM]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7e6cb337ef0bf114949eec1eb93e404f8ae64988a03cdc53a014119f496172a5de568f4&idx=1&mid=2247484127&scene=21&sn=92e774ee1edc2dd0013c60f1347d0fe6#wechat_redirect
[java_MAT]: https://blog.csdn.net/u012811805/article/details/104770774
[Eclipse Memory Analyzer Tool_MAT]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7e8cb337efe3c8a0d65fdcad6021c841cd5c00c47e20b09ff7fa31470a29865cda12a0a&idx=1&mid=2247484113&scene=21&sn=2f603fec4d105d832db0783369b9fe57#wechat_redirect
[shallow heap_retained heap]: https://blog.csdn.net/u012811805/article/details/104737895
[-_heap_dump]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f794cb337e82fdcd6ad918d1a490d90908b6f453ddb45ad55b4a24a8b749e09baa9cc7a8&idx=1&mid=2247484077&scene=21&sn=5ae695faef094c78f2aa257b58b3034a#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7a7cb337eb1916c752918a881cd6cc033caa83657876ae3292e9e0639b7040ecfb37a9c&idx=1&mid=2247484062&scene=21&sn=d16d8ad10c5d4d26919276e7973708a5#wechat_redirect
[SpringBoot]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7adcb337ebbd0f51405a4502fc8e0ad0afdc562cbab581209e92b040645de7189a96f23&idx=1&mid=2247484052&scene=21&sn=e8e0520c74584721b366085834fd0489#wechat_redirect
[Dockerfile]: https://blog.csdn.net/u012811805/article/details/104638007
[Mysql_Redis]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f743cb337e55a10570a29831dd060548a10e51988cbe27440c6c92d6b54589bf5accbc0d&idx=1&mid=2247484026&scene=21&sn=e537c94bb695d28f7a82f19f4b688899#wechat_redirect
[CountDownLatch]: https://blog.csdn.net/u012811805/article/details/104203801
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnZ6aGRLck1pY1NQSWliZzhQRWJPa2E4bmpjOHJFZmFLa09YTHAyd21wckxpY0JRaWNYMWlhdVFzWEdTTDlpYXhreFZTb3RQQ2F2U2hva1NvVHcvNjQw?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi94aWNXWVRTSUN6UnRDYWxzMWRGZFVjZ1lTWDVFMFhQN2liTVhOMUtqMlN0cmptVWoybEpMbHp0WUo0ejZqN1JYd0VGRUtjYUhpYmt4ekt2ODVqMlgwYTJLZy82NDA?x-oss-process=image/format,png