C++：perf详解 + Flame Graph火焰图分析程序性能

秒速五厘米 2023-07-25 09:53 20阅读 0赞

因为项目需求，C++和java同时在搞，最近了解到Flame Graph火焰图这个工具，网上查了查资料，这里记录一下。

# 1 介绍 #

web site

[http://www.brendangregg.com/flamegraphs.html][http_www.brendangregg.com_flamegraphs.html]

git：

[https://github.com/brendangregg/FlameGraph][https_github.com_brendangregg_FlameGraph]

[火焰图][https_github.com_brendangregg_FlameGraph]是一个可视化工具，可以将诸多性能检测相关的命令行工具的结果进行可视化展示，方便侦测性能热点。

不同火焰图类型:

*  [CPU][]
 *  [Memory][]
 *  [Off-CPU][]
 *  [Hot/Cold][Hot_Cold]
 *  [Differential][]

其支持将以下工具的采样结果进行可视化展示：

*  Linux: perf, eBPF, SystemTap, and ktap
 *  Solaris, illumos, FreeBSD: DTrace
 *  Mac OS X: DTrace and Instruments
 *  Windows: Xperf.exe

本文以perf为例介绍(关于perf的用法可以参考[perf examples][]如何在Linux上采集性能数据并且生成火焰图。

# 2 perf命令简要介绍 #

perf是Linux下的一款性能分析工具，能够进行函数级与指令级的热点查找。

## 2.1 Perf List ##

利用perf剖析程序性能时，需要指定当前测试的性能时间。性能事件是指在处理器或操作系统中发生的，可能影响到程序性能的硬件事件或软件事件

--------------------

## 2.2 Perf top ##

实时显示系统/进程的性能统计信息  
  
常用参数  
  
\-e：指定性能事件  
\-a：显示在所有CPU上的性能统计信息  
\-C：显示在指定CPU上的性能统计信息  
\-p：指定进程PID  
\-t：指定线程TID  
\-K：隐藏内核统计信息  
\-U：隐藏用户空间的统计信息  
\-s：指定待解析的符号信息  
‘‐G’ or‘‐‐call‐graph’ <output\_type,min\_percent,call\_order>  
  
graph: 使用调用树，将每条调用路径进一步折叠。这种显示方式更加直观。  
    每条调用路径的采样率为绝对值。也就是该条路径占整个采样域的比率。  
fractal  
    默认选项。类似与 graph，但是每条路径前的采样率为相对值。  
flat  
    不折叠各条调用  
选项 call\_order 用以设定调用图谱的显示顺序，该选项有 2个取值，分别是  
  
callee 与caller。  
   将该选项设为callee 时，perf按照被调用的顺序显示调用图谱，上层函数被下层函数所调用。  
   该选项被设为caller 时，按照调用顺序显示调用图谱，即上层函数调用了下层函数路径，也不显示每条调用路径的采样率

**注： Perf top需要root权限**

--------------------

## 2.3 Perf stat ##

分析系统/进程的整体性能概况  
  
task‐clock事件表示目标任务真正占用处理器的时间，单位是毫秒。也称任务执行时间  
context-switches是系统发生上下文切换的次数  
CPU-migrations是任务从一个处理器迁往另外一个处理器的次数  
page-faults是内核发生缺页的次数  
cycles是程序消耗的处理器周期数  
instructions是指命令执行期间产生的处理器指令数  
branches是指程序在执行期间遇到的分支指令数。  
branch‐misses是预测错误的分支指令数。  
XXX seconds time elapsed系程序持续时间  
任务执行时间/任务持续时间大于1，那可以肯定是多核引起的  
  
参数设置：  
\-e：选择性能事件  
\-i：禁止子任务继承父任务的性能计数器。  
\-r：重复执行 n 次目标程序，并给出性能指标在n 次执行中的变化范围。  
\-n：仅输出目标程序的执行时间，而不开启任何性能计数器。  
\-a：指定全部cpu  
\-C：指定某个cpu  
\-A：将给出每个处理器上相应的信息。  
\-p：指定待分析的进程id  
\-t：指定待分析的线程id

--------------------

## 2.4 Perf record ##

记录一段时间内系统/进程的性能时间  
  
参数：  
 -e：选择性能事件  
** -p：待分析进程的id**  
 -t：待分析线程的id  
** -a：分析整个系统的性能**  
 -C：只采集指定CPU数据  
 -c：事件的采样周期  
 -o：指定输出文件，默认为perf.data  
 -A：以append的方式写输出文件  
 -f：以OverWrite的方式写输出文件  
** -g：记录函数间的调用关系**

** -F：采样评率，采样频率建议在4000以内，避免造成太多开销**

--------------------

## 2.5 Perf Report ##

读取perf record生成的数据文件，并显示分析数据  
  
参数  
  
\-i：输入的数据文件  
\-v：显示每个符号的地址  
\-d <dos>：只显示指定dos的符号  
\-C：只显示指定comm的信息（Comm. 触发事件的进程名）  
\-S：只考虑指定符号  
\-U：只显示已解析的符号  
\-g\[type,min,order\]：显示调用关系，具体等同于perf top命令中的-g  
\-c：只显示指定cpu采样信息  
\-M：以指定汇编指令风格显示  
–source：以汇编和source的形式进行显示  
\-p<regex>：用指定正则表达式过滤调用函数

--------------------

性能调优时，我们通常需要分析查找到程序百分比高的热点代码片段，这便需要使用 perf record 记录单个函数级别的统计信息，并使用 perf report 来显示统计结果；

举例

**perf record -e cpu-clock -g -p 222**

\-g 选项是告诉perf record额外记录函数的调用关系

\-e cpu-clock 指perf record监控的指标为cpu周期

\-p 指定需要record的进程pid

# 3 配置采集 #

[https://superuser.com/questions/980632/run-perf-without-root-rights][https_superuser.com_questions_980632_run-perf-without-root-rights]

Files in `/proc` that are writable are usually changed by echoing a value into them. You should try:

sudo sh -c 'echo 1 >/proc/sys/kernel/perf_event_paranoid'

The files under `/proc/sys/` also have the [sysctl][] command for easy access, so you can instead do:

sudo sysctl -w kernel.perf_event_paranoid=1

(though the `-w` for *write* seems to be optional). To ensure this is done at boot time create your own `/etc/sysctl.d/99-mysettings.conf` file with the line

kernel.perf_event_paranoid=1

Choose a filename that will not override existing files in `/run/sysctl.d/` and `/usr/lib/sysctl.d/`. See [man sysctl.d][]

# 4 实例： #

## 4.1 实例1： ##

### 4.1.1 安装FlameGraph ###

wget https://github.com/brendangregg/FlameGraph/archive/master.zip

unzip master.zip

sudo mv FlameGraph-master/ /opt/FlameGraph

**添加到环境变量 编辑/etc/profile，增加**

\#FlameGraph

export PATH=$PATH:/opt/FlameGraph

### 4.1.2 查找程序的pid ###

$ ps -aux|grep cjdroute

nobody **31779** 0.2 0.0 19208 4000 pts/37 S 15:35 0:10 /home/name/cjdroute/cjdns/cjdroute core /tmp client-core-puux8w0hdr7y5kdq9u12qqz7s7cgw5

pid为31779

### 4.1.3 生成CPU采样文件 ###

**sudo perf record -F 99 -p 31779 -g -o in-fb.data -- sleep 60**

**sudo perf script -i in-fb.data > in-fb.perf**

首先使用99HZ的采样频率，对pid为31779的进程进行采样，采样输出到in-fb.data中，采样时长为60秒

### 4.1.4 生成CPU火焰图 ###

stackcollapse-perf.pl **in-fb.perf** >in-fb.folded

flamegraph.pl **in-fb.folded** >in-fb-cpu.svg

火焰图可以使用浏览器来打开

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70][]

**X轴是CPU时间，色块越宽，表示对应函数占用的CPU时间越多，可能是性能热点。Y轴是函数调用栈，最顶端的是正在执行的函数。如果出现unknow则说明缺少调试信息。**

### 4.1.5 一个简单的脚本 ###

#!/bin/sh
    DIR=/your-path/
    sudo perf record -F 99 -p $1 -g -o $DIR/cpu.data -- sleep $2
    sudo perf script -i $DIR/cpu.data > $DIR/cpu.perf
    stackcollapse-perf.pl $DIR/cpu.perf > $DIR/cpu.folded
    flamegraph.pl $DIR/cpu.folded > $DIR/cpu1.svg

使用方法：对进程1234采样60秒

bash perf 1234 60

**其他脚本：**

if [ $# -ne 1 ];then
      echo "Usage: $0 seconds"
      exit 1
    fi
    
    perf record -a -g-o perf.data &
    
    PID=`ps aux| grep "perf record"| grep -v grep| awk '{print $2}'`
    
    if [ -n "$PID" ]; then
      sleep $1
      kill -s INT $PID
    fi
    
    # wait until perf exite
    sleep 1
    
    perf script -i perf.data &> perf.unfold
    perl stackcollapse-perf.pl perf.unfold &> perf.folded
    perl flamegraph.pl perf.folded >perf.svg

将上面的脚本保存为perf\_flame\_graph.sh。根据上面的Usage可以看出在执行的时候，只需要指定采样的时间，单位为秒。

## 4.2 实例2 ##

### 4.2.1 第1步：下载FlameGraph ###

\[zhongcy@server home/zhongcy\]$ git clone https://github.com/brendangregg/FlameGraph

### 4.2.2 第2步：安装perf工具 ###

\[root@server home/root\]$ sudo yum install perf

### 4.2.3 第2步：调用perf进行采样，并设置结果文件权限 ###

\[root@server FlameGraph\]$ sudo perf record -F 99 -a -g -- sleep 60  
\[ perf record: Woken up 8 times to write data \]  
\[ perf record: Captured and wrote 3.975 MB perf.data (47520 samples) \]  
\[root@server FlameGraph\]$ sudo chown zhongcy:zhongcy **perf.data**  
\[root@server FlameGraph\]$ exit

### 4.2.4 第3步：生成火焰图 ###

\[zhongcy@server FlameGraph\]$ **perf script | ./stackcollapse-perf.pl > out.perf-folded**  
\[kernel.kallsyms\] with build id 6a0789weqfsswerwerad891df16787 not found, continuing without symbols  
Failed to open \[vsyscall\], continuing without symbols  
\[vdso\] with build id 6fc7sdfsfwqq5843ecfgg1e7a not found, continuing without symbols  
\[zhongcy@server FlameGraph\]$  **./flamegraph.pl out.perf-folded > perf-kernel.svg**

## 4.3 实例3，调试java程序 ##

因为我们采集的是JAVA进程，**perf采集的内容只会显示一个JAVA线程的内存地址，不会详细展示其堆栈信息，因此我们需要另外个工具[perf-map-agent][] 来帮助我们**

PS: 感觉火焰图来分析JAVA性能热点还是略麻烦，依赖比较多，单纯看JAVA线程的cpu占用top可以考虑使用[greys-anatomy][]。 如果是C++程序或者C程序，用火焰图更加方便些。

### 4.3.1 安装火焰图 ###

clone下github上项目即可

git clone https://github.com/brendangregg/FlameGraph.git

### 4.3.2 安装perf-map-agent ###

git clone https://github.com/jvm-profiling-tools/perf-map-agent 
    cd perf-map-agent/ 
    sudo yum install cmake 
    sudo yum install gcc 
    sudo yum install gcc-c++ 
    sudo cmake . 
    sudo make

如果cmake提示版本低按照如下方式升级

wget https://cmake.org/files/v3.6/cmake-3.6.2.tar.gz
     tar -zxvf cmake-3.6.2.tar.gz
    cd cmake-3.6.2
     sudo ./bootstrap --prefix=/usr/local
     sudo make
     sudo make install

### 4.3.3 性能采用并且生成火焰图 ###

PS:采样频率建议在4000以内，避免造成太多开销

\# -F设定频率，-p指定线程，-g表示记录调用栈信息,该命令执行采样5秒后会在当前目录生成perf.data  
**sudo perf record -F99 -p <PID> -g  sleep 60**

\# 获取进程堆栈信息  
**./jmaps **

\# 下面是一个工作流，直接通过perf script解析perf.data里面的内容，然后通过perl脚本生成火焰图。将自己的perf.data拷贝到FlameGraph所在目录，再执行以下命令  
**sudo perf script | ./stackcollapse-perf.pl --all | ./flamegraph.pl --color=java --hash > kaiming-example-perf.svg**

将生成的kaiming-example-perf.svg拷贝到本地，并且用浏览器打开就可以看到火焰图了：

# 5 参考资料： #

[http://linux.51yip.com/search/perf][http_linux.51yip.com_search_perf]

[https://ivanzz1001.github.io/records/post/linuxops/2017/11/16/linux-perf-usge][https_ivanzz1001.github.io_records_post_linuxops_2017_11_16_linux-perf-usge]

[https://ichrisking.github.io/2018/03/08/FlameGraph/][https_ichrisking.github.io_2018_03_08_FlameGraph]

[https://www.cnblogs.com/felixzh/p/8932984.html][https_www.cnblogs.com_felixzh_p_8932984.html]

[https://kaimingwan.com/post/gong-ju/xing-neng-diao-you-gong-ju/shi-yong-huo-yan-tu-flamegraph-fen-xi-cheng-xu-xing-neng-re-dian][https_kaimingwan.com_post_gong-ju_xing-neng-diao-you-gong-ju_shi-yong-huo-yan-tu-flamegraph-fen-xi-cheng-xu-xing-neng-re-dian]

[http_www.brendangregg.com_flamegraphs.html]: http://www.brendangregg.com/flamegraphs.html
[https_github.com_brendangregg_FlameGraph]: https://github.com/brendangregg/FlameGraph
[CPU]: http://www.brendangregg.com/FlameGraphs/cpuflamegraphs.html
[Memory]: http://www.brendangregg.com/FlameGraphs/memoryflamegraphs.html
[Off-CPU]: http://www.brendangregg.com/FlameGraphs/offcpuflamegraphs.html
[Hot_Cold]: http://www.brendangregg.com/FlameGraphs/hotcoldflamegraphs.html
[Differential]: http://www.brendangregg.com/blog/2014-11-09/differential-flame-graphs.html
[perf examples]: http://www.brendangregg.com/perf.html
[https_superuser.com_questions_980632_run-perf-without-root-rights]: https://superuser.com/questions/980632/run-perf-without-root-rights
[sysctl]: http://man7.org/linux/man-pages/man8/sysctl.8.html
[man sysctl.d]: http://man7.org/linux/man-pages/man5/sysctl.d.5.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70]: /images/20230528/b5990155b04b430dbef73d4ee3ccf240.png
[perf-map-agent]: https://github.com/jvm-profiling-tools/perf-map-agent
[greys-anatomy]: https://github.com/oldmanpushcart/greys-anatomy
[http_linux.51yip.com_search_perf]: http://linux.51yip.com/search/perf
[https_ivanzz1001.github.io_records_post_linuxops_2017_11_16_linux-perf-usge]: https://ivanzz1001.github.io/records/post/linuxops/2017/11/16/linux-perf-usge
[https_ichrisking.github.io_2018_03_08_FlameGraph]: https://ichrisking.github.io/2018/03/08/FlameGraph/
[https_www.cnblogs.com_felixzh_p_8932984.html]: https://www.cnblogs.com/felixzh/p/8932984.html
[https_kaimingwan.com_post_gong-ju_xing-neng-diao-you-gong-ju_shi-yong-huo-yan-tu-flamegraph-fen-xi-cheng-xu-xing-neng-re-dian]: https://kaimingwan.com/post/gong-ju/xing-neng-diao-you-gong-ju/shi-yong-huo-yan-tu-flamegraph-fen-xi-cheng-xu-xing-neng-re-dian