Linux系统性能分析工具--Perf
一、perf工具介绍
perf 命令(performance 的缩写)，是Linux系统提供的性能分析工具集，包含多种子工具，能够监测多种硬件及软件性能指标，包括cpu、内存、io等，这些可监测指标我们称为event。
Brendan Gregg的文章中总结了perf 支持的event结构图，详情可见：
perf event结构图
二、perf工作模式
2.1 计数模式
记录perf执行过程中event的出现次数。
2.2 采样模式
在perf执行过程中，按照指定频率去采样event，每次采样时，记录当前性能指标信息(cpu、进程id、运行栈等)。这种方式由于每次都记录信息，所以额外的资源消耗是比较大的，需要权衡一下采样频率。
2.3 自定义模式
可以对对应的event执行用户自己设计的代码，也就是说记录的信息、执行的操作可以由用户定制。
三、perf安装
对于ubuntu等linux系统发行版，都提供了对应的包，只要根据内核版本进行安装即可。安装的命令如下:
# 在ubuntu下
sudo apt-get install linux-tools-common
sudo apt-get install linux-tools-"$(uname -r)"
sudo apt-get install linux-cloud-tools-"$(uname -r)"
sudo apt-get install linux-tools-generic
sudo apt-get install linux-cloud-tools-generic四、perf使用方法
4.1 perf list
perf list查看当前系统支持的性能事件。
4.2 perf top
perf top类似top命令，主要用于实时分析各个函数在某个性能事件上的热度，能够快速的定位热点函数，包括应用程序函数、模块函数与内核函数，甚至能够定位到热点指令。执行需要root权限。
Perf top：实时显示系统/进程的性能统计信息
常用参数
-e：指定性能事件 -a：显示在所有CPU上的性能统计信息
-C：显示在指定CPU上的性能统计信息 -p：指定进程PID
-t：指定线程TID -K：隐藏内核统计信息
-U：隐藏用户空间的统计信息 -s：指定待解析的符号信息
‘-G’ or‘--call-graph’ <output_type,min_percent,call_order>
graph： 使用调用树，将每条调用路径进一步折叠。这种显示方式更加直观。每条调用路径的采样率为绝对值。也就是该条路径占整个采样域的比率。
fractal：默认选项。类似与 graph，但是每条路径前的采样率为相对值。
flat： 不折叠各条调用
选项 call_order 用以设定调用图谱的显示顺序，该选项有 2个取值，分别是callee 与caller。
将该选项设为callee 时，perf按照被调用的顺序显示调用图谱，上层函数被下层函数所调用。
该选项被设为caller 时，按照调用顺序显示调用图谱，即上层函数调用了下层函数路径，也不显示每条调用路径的采样率4.3 perf stat
perf stat用于统计event出现的次数，我们还是先运行前面的测试代码，再简单运行一下perf stat看看：
4.4 perf record
perf record是采样模式，perf收集采样信息并记录在文件中，可以离线分析。使用下面的 perf report解析收集的采样数据文件。
Perf record：记录一段时间内系统/进程的性能参数
参数：
-e：选择性能事件 -p：待分析进程的id
-t：待分析线程的id -a：分析整个系统的性能
-C：只采集指定CPU数据 -F：采样频率，每秒多少次
-c：事件的采样周期 -o：指定输出文件，默认为perf.data
-A：以append的方式写输出文件 -f：以OverWrite的方式写输出文件
-g：记录函数间的调用关系
举例：
sudo perf record -e cpu-clock -g -p 2548
-g 选项是告诉perf record额外记录函数的调用关系
-e cpu-clock 指perf record监控的指标为cpu周期
-p 指定需要record的进程pid采样一段时间，可以使用ctrl+c停止命令，这时会生成 perf.data 文件（默认文件名）
4.5 perf report
perf report 主要用来分析上面perf record生成的perf.data文件。
perf report：读取perf record生成的数据文件，并显示分析数据
参数
-i：输入的数据文件 -v：显示每个符号的地址
-d <dos>：只显示指定dos的符号 -C：只显示指定comm的信息（Comm. 触发事件的进程名）
-S：只考虑指定符号 -U：只显示已解析的符号
-g[type,min,order]：显示调用关系 -c：只显示指定cpu采样信息
-M：以指定汇编指令风格显示 –source：以汇编和source的形式进行显示
-p<regex>：用指定正则表达式过滤调用函数举例： sudo perf report -n --stdio ：统计每个调用栈出现的百分比，然后从高到低排列。
可以看到，通过perf report分析得到的结果不直观，可读性比较差，所以才有了火焰图。
五 火焰图 Flame Graph
下载方式：
1、手动下载：Flame Graph项目位于GitHub上：https://github.com/brendangregg/FlameGraph
2、可以用git将其clone下来：git clone https://github.com/brendangregg/FlameGraph.git5.1 ON-CPU火焰图
on-cpu火焰图可以用于分析cpu是被哪些线程、哪些函数占用的，可以方便的找到热点代码便于后续分析优化。
生成火焰图的操作步骤如下：
第一步： 采样并记录性能数据
$sudo perf record -e cpu-clock -g -p 28591
// Ctrl+c结束执行后，在当前目录下会生成采样数据perf.data.第二步：用perf script工具对perf.data进行解析
perf script -i perf.data &> perf.unfold第三步：将perf.unfold中的符号进行折叠
./stackcollapse-perf.pl perf.unfold &> perf.folded第四步：生成svg文件
./flamegraph.pl perf.folded > perf.svg
5.2 OFF-CPU火焰图
对于IO消耗型的任务，on-cpu并不能捕获任务大部分的时间去了哪里，配合上off-cpu的统计则可以让我们更清楚的看到任务运行时间的分布，所以off-cpu火焰图用于显示非cpu耗时的问题：
1、进程进入系统调用执行io动作，io动作的延迟;
2、进程等待mutex锁的时间
3、内存被交换,swap的时间
4、内存不够的时候，执行直接内存回收的时间
5、进程被抢占调度走、或者时间片用完被调度走的时间(runqueue太大)
// 安装off-cpu 数据获取工具
#apt install bpfcc-tools
// 截取a.out30秒offcpu 耗时分析的栈数据
sudo offcputime-bpfcc -df -p `pgrep -nx a.out` 30 > out.stacks
// 转化为火焰图
./flamegraph.pl --color=io --title="Off-CPU Time Flame Graph" --countname=us ~/out.stacks > output.svg
5.3 红蓝差分火焰图
在代码优化后，还可以使用FlameGraph工具生成红蓝差分火焰图观察优化效果。前面优化前后的采样中生成了两个.floded，对其进行对比并绘制成图。
# stackcollapse-perf.pl perf.script > workrun.floded # 优化前数据
# stackcollapse-perf.pl perf.script > workrun_2.floded # 优化后数据
# difffolded.pl workrun.floded workrun_2.floded > diff.floded # 获取差异数据
flamegraph.pl diff.floded > diff.svg #绘图
diff.svg即为优化前后的红/蓝差分火焰图，图中使用不同的颜色来表示两个文件中的差异部分。红色表示增长, 蓝色表示衰减，并带有百分比。（这里随便贴一张图）
5.4 解析火焰图
火焰图是基于 stack 信息生成的 SVG 图片, 用来展示 CPU 的调用栈。
火焰图中的每一个方框是一个函数，方框的长度，代表了它的执行时间，所以越宽的函数，执行越久。火焰图的楼层每高一层，就是更深一级的函数被调用，最顶层的函数，是叶子函数。
y 轴表示调用栈, 每一层都是一个函数. 调用栈越深, 火焰就越高, 顶部就是正在执行的函数, 下方都是它的父函数。x 轴表示抽样数, 如果一个函数在 x 轴占据的宽度越宽, 就表示它被抽到的次数多, 即执行的时间长. 注意, x 轴不代表时间, 而是所有的调用栈合并后, 按字母顺序排列的。
火焰图就是看顶层的哪个函数占据的宽度最大. 只要有 “平顶”(plateaus), 就表示该函数可能存在性能问题。颜色没有特殊含义, 因为火焰图表示的是 CPU 的繁忙程度, 所以一般选择暖色调.
火焰图是 SVG 图片, 可以与用户互动.
鼠标悬浮：火焰的每一层都会标注函数名, 鼠标悬浮时会显示完整的函数名、抽样抽中的次数、占据总抽样次数的百分比
点击放大：在某一层点击，火焰图会水平放大，该层会占据所有宽度，显示详细信息。
左上角会同时显示 “Reset Zoom”, 点击该链接, 图片就会恢复原样.
搜索：按下 Ctrl + F 会显示一个搜索框，用户可以输入关键词或正则表达式，符合条件的函数名会高亮显示。
