分布式链路追踪工具pinpoint采样率原理分析

àì夳堔傛蜴生んèń 2023-02-15 03:55 24阅读 0赞

### 前言 ###

一系列的服务上云后，可能分布在几千甚至几万台服务器上，服务与服务之间存在大量复杂的调用关系，而pinpoint在采集这些服务数据时，同样会产生大量的报文。

在naver公司的在线门户服务有海量请求。单个服务每天处理超过200亿请求。如果要跟踪所有的请求，解决的办法是需要添加足够多的网络设施和服务器来来支撑收集数据。

但是对于这种非核心生产的监控系统来说，是很不划算的，浪费金钱又浪费资源。

![format_png][]

### 什么是采样率 ###

在Pinpoint中，可以收集设置采样，而不必跟踪每个请求。在开发环境中请求量很小，每个数据都收集。而在产品环境请求量巨大，收集小比率的数据如1~5%，足够检查整个应用的状态。采样之后，可以最小化应用的网络开销并降低诸如网络和服务器的设施费用。

![format_png 1][]

### pinpoint的采样率是如何配置的？ ###

对应的配置项在agent下的pinpoint.config文件中。

# Allow sampling.
    profiler.sampling.enable=true
    
    # 1 out of n transactions will be sampled where n is the rate. (20: 5%)
    profiler.sampling.rate=1
    
    # 1 out of n entities will be sampled where n is the rate. (10: 10%)
    profiler.apache.httpclient4.entity.sampling.rate=1

首先采样率有开关配置。默认"profiler.sampling.rate=1"表示全部

Pinpoint 支持计数采样，如果设置为10则只采样10分之一的请求。我们计划增加新的采样器来更有效率的收集数据。

很多小伙伴，看到采样率配置，以为是配置的百分比，上来就配一个0点几，其实不是的，这里我们简单来理解一下，我们只需要关注分母即可，比如要配10%的采样，那么设置这个属性的值为10即可。

![format_png 2][]

### pinpoint内部用的依赖注入框架Google Guice ###

pinpoint内部的是否采样和采样率，是通过Sampler对象来封装的。

可以看到是通过com.google.inject.Inject注解来进行依赖注入的。

内部使用的是Google Guice ，它一个轻量级的依赖注入框架。和spring不同的是：Spring 耦合度低，而Guice 耦合度高，代码级的标注，DI 标记 @inject 侵入代码中，耦合到了类层面上来。

Guice 使用注解 Annotation，cglib, 效率高，这是与与 Spring 最明显的一个区别，Spring 是在装载配置文件的时候把该注入的地方都注入完，而 Guice 呢，则是在使用的时候去注射，运行效率和灵活性高。

![format_png 3][]

### pinpoint采样原理 ###

某条请求是否被采样，取决于整个链路开始的机器。该机器使用特定的采样算法。采样的标志会一直在链路中透传。比如在http里面，会在header里面增加Pinpoint-Sampled字段，使用不同的值表示是否采样。

![format_png 4][]

上图显示pinpoint具体会使用到的一些Header。

具体的判断逻辑，是通过SamplingFlagUtils类来实现的。

![format_png 5][]

### 代码层面的配置学习 ###

其实，代码层面很简单，就是判断，如果不采样，那就不发送大量的报文就行。

但是！

你总得告诉下游吧，不然怎么串联起来呢，当然每个agent可以单独有自己的采样配置， 最好还是保持一致。

以httpclient4的插件为例。

![format_png 6][]

从当前上下文里面获取Trace对象，并判断是否采样，其Trace体系如下图所示：

![format_png 7][]

### 发送端采样处理 ###

在请求发送到下游的机器之前，会从当前上下文里面获取Trace对象。

![format_png 8][]

如果不采样，则尝试在http头部写入Pinpoint-Sampled=s0, 其他信息都不传递。![format_png 9][]

如果为需要采样，则不设置Pinpoint-Sampled字段，只设置其他trace相关字段，比如Header.HTTP\_TRACE\_ID等。

![format_png 10][]

### 接收端采样处理 ###

![format_png 11][]

在服务端收到请求之后，会去查看请求里面是否有Pinpoint-Sampled字段和Pinpoint-TraceID等字段。分为下面几种情况：

有Pinpoint-Sampled字段，并且值为s0，表示此条请求不采样。

没有Pinpoint-Sampled字段，但是有Pinpoint-TraceID等字段，表示此条请求被采样。

没有Pinpoint-Sampled字段，也没有Pinpoint-TraceID等字段，认为接收该请求的机器，是整条链路的第一个机器，或者链路信息在前面有丢失。

### 总结 ###

在系统完成一次业务调用的过程中，会产生很多的调用链打点数据，在业务量大的时候，这些数据可能同样会成为我们系统的负担，所以对数据采样很有必要，在保证样本充足的情况下，同样能够进行数据分析和定位系统性能瓶颈，快速定位异常的服务。本篇文章我们介绍了如下内容：

*  pinpoint采样率的概念和应用。
 *  pinpoint采样率的配置。
 *  pinpoint使用的依赖注入框架Google Guice和spring的对比。
 *  pinpoint的采样原理。

![format_png 12][]

[可视化界面在线生成JVM参数][JVM]

[java内存溢出问题分析过程二(附MAT超全操作文档)][java_MAT]

[使用Eclipse Memory Analyzer Tool（MAT）分析线上故障(一)][Eclipse Memory Analyzer Tool_MAT]

[一文让你理解什么是shallow heap及retained heap][shallow heap_retained heap]

[内存分析诊断系列-理解heap dump][-_heap_dump]

[记一次服务器被当肉鸡挖矿的经历][Link 1]

[如何编写一个可复用的SpringBoot应用运维脚本][SpringBoot]

[高效率编写Dockerfile需要绕过的一些坑][Dockerfile]

[Mysql百万量级数据高效导入Redis][Mysql_Redis]

[多线程之CountDownLatch的用法及原理笔记][CountDownLatch]

![format_png 13][]

我就知道你“在看”

![format_png 14][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnVOdkZuMXdQRklXajRWM2VFZzFkaWFPY1VHS2JqZGxzZTc0SlUxUjZOYWdEdVVHaWJSNFZ2Nk1pYUFtcjBVQ1BERFVBalNOTGZ5V0F6RFEvNjQw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnVOdkZuMXdQRklXajRWM2VFZzFkaWFPamI0YUc4RlVqNUVaNW53OWJSTjVTd3dDMk5HZWlhMlZZaWJaY1FsZ2liNVMwc0duSzh1SWczMUVnLzY0MA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnVOdkZuMXdQRklXajRWM2VFZzFkaWFPR1pjcHowODRwbTN4a3I1OHd1ZXVmRFoydDlzbDBOYUw4c04wVkFFYmRYeWh4MDhqMmlieTQzdy82NDA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnVOdkZuMXdQRklXajRWM2VFZzFkaWFPMEM3amF5RHBIblZGbmljMDNJdHJmbzFuYkZhY044VXlwWnBvUzR0dXU0d0hmYmtOVWtrbkxnZy82NDA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnVOdkZuMXdQRklXajRWM2VFZzFkaWFPb2ljR3hGSHpyQ2liSldiWlg4ZFduenVoaWI5clB6Y1J3SXhqNGliZ25PaWFDSmxpY3g3QkJxYVlDb013LzY0MA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnVOdkZuMXdQRklXajRWM2VFZzFkaWFPOHhCMnhXUXpnN3RycFZYcGxsdXBKc2J2WWliOXBXeVA5RVV1RlV3cFRGOUNiYm9wN1NUa3I2QS82NDA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnVOdkZuMXdQRklXajRWM2VFZzFkaWFPUUdVTGFNdks0UmpHV3hMNFVJdzZpYWVaa0cwbVNXVUVta1dGT2lhUDRLUXlKZ0hGVVpZd1VQMXcvNjQw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnVOdkZuMXdQRklXajRWM2VFZzFkaWFPUDNjWjFlVXM4RVBZRE9jaWFyaWFRRUhibGw3ZWhVY3E5d21kbkp3c2ljV3NQU0FzaWJ3R0xpY25lTkEvNjQw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnVOdkZuMXdQRklXajRWM2VFZzFkaWFPTWRRYWZ5N1d3TU9LeVZ4dnFHUUNoaWMyR0pFcFkwSWxWMUg2RENvREh2SnFZQVJEQmljeXBtR0EvNjQw?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnVOdkZuMXdQRklXajRWM2VFZzFkaWFPNkQ5WEM4enBTSk90aFF5OTRuQnVuOEh1UzFYVk1JWTdCTjFNY290cmpleHYxN1VrOExZaWMzZy82NDA?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnVOdkZuMXdQRklXajRWM2VFZzFkaWFPQnNKeHFmeURBcnB2eTVsUWhFelNvQUlXaHB2TE9ydG1SYzR4VkluS3owNHQ2bjdBNVFLejJRLzY0MA?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnVOdkZuMXdQRklXajRWM2VFZzFkaWFPZW5pYzZPd3NkVFNpYmx5cWdTYkJpYjNpYVlmUEo4bmlhTnk4VEJIZVdpY0p6NXZhVDRXMXVwdk1xV3Z3LzY0MA?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi94aWNXWVRTSUN6UnRDYWxzMWRGZFVjZ1lTWDVFMFhQN2liWklsc2FpYzNnMGg5TWtDT2VONkI5aWNuOHJCa3Z0TnBWbmxoc2hGQ1BxNHFXcjFxMnJYdk5HSmcvNjQw?x-oss-process=image/format,png
[JVM]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7e6cb337ef0bf114949eec1eb93e404f8ae64988a03cdc53a014119f496172a5de568f4&idx=1&mid=2247484127&scene=21&sn=92e774ee1edc2dd0013c60f1347d0fe6#wechat_redirect
[java_MAT]: https://blog.csdn.net/u012811805/article/details/104770774
[Eclipse Memory Analyzer Tool_MAT]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7e8cb337efe3c8a0d65fdcad6021c841cd5c00c47e20b09ff7fa31470a29865cda12a0a&idx=1&mid=2247484113&scene=21&sn=2f603fec4d105d832db0783369b9fe57#wechat_redirect
[shallow heap_retained heap]: https://blog.csdn.net/u012811805/article/details/104737895
[-_heap_dump]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f794cb337e82fdcd6ad918d1a490d90908b6f453ddb45ad55b4a24a8b749e09baa9cc7a8&idx=1&mid=2247484077&scene=21&sn=5ae695faef094c78f2aa257b58b3034a#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7a7cb337eb1916c752918a881cd6cc033caa83657876ae3292e9e0639b7040ecfb37a9c&idx=1&mid=2247484062&scene=21&sn=d16d8ad10c5d4d26919276e7973708a5#wechat_redirect
[SpringBoot]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7adcb337ebbd0f51405a4502fc8e0ad0afdc562cbab581209e92b040645de7189a96f23&idx=1&mid=2247484052&scene=21&sn=e8e0520c74584721b366085834fd0489#wechat_redirect
[Dockerfile]: https://blog.csdn.net/u012811805/article/details/104638007
[Mysql_Redis]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f743cb337e55a10570a29831dd060548a10e51988cbe27440c6c92d6b54589bf5accbc0d&idx=1&mid=2247484026&scene=21&sn=e537c94bb695d28f7a82f19f4b688899#wechat_redirect
[CountDownLatch]: https://blog.csdn.net/u012811805/article/details/104203801
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnRUdWZMQXJKQUE4UWFLN1hPaWJIcGxKaWIwY3RDQ1lKWFhuaWJnd3hpYzJVdVA3VnRVSG9RZVRsU0g5dXRZcGIwTnJtOGRUNkFXaWJMY094US82NDA?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi94aWNXWVRTSUN6UnRDYWxzMWRGZFVjZ1lTWDVFMFhQN2liTVhOMUtqMlN0cmptVWoybEpMbHp0WUo0ejZqN1JYd0VGRUtjYUhpYmt4ekt2ODVqMlgwYTJLZy82NDA?x-oss-process=image/format,png