JVM线上CPU 100%、内存泄露问题排查

超、凢脫俗 2022-10-07 00:43 389阅读 0赞

原文链接：[点我跳转][Link 1]

作者：[java互联网架构][java]

# 前言 #

后文会从 Windows、Linux 两个系统来做示例展示，有人会有疑问了：为什么要说 Windows 版的 ？ 目前市面上还是有很多 Windows 服务器的，应用于传统行业、政府结构、医疗行业 等等；两个系统下的情况都演示下，有备无患

后文中用到了两个工具：Processor Explorer、MAT，它们是什么，有什么用，怎么用，本文不做介绍

# cpu 100% #

下面的示例中， cpu 的占有率没到 100%，只是比较高，但是排查方式是一样的，希望大家不要钻牛角尖

Windows

**1、找到 cpu 占有率最高的 java 进程号**

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_]

PID： 20260

**2、根据进程号找到 cpu 占有率最高的线程号**

双击刚刚找到的 java 进程

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 1]

线程号： 15900 ，转成十六进制： 3e1c

**3、利用 jstack 生成虚拟机中所有线程的快照**

命令： jstack -l \{pid\} > \{path\}

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 2]

文件路径： D:\\20260.stack

**4、线程快照分析**

我们先浏览下快照内容

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 3]

内容还算比较简洁，线程快照格式都是统一的，我们以一个线程快照简单说明下

"main" \#1 prio=5 os\_prio=0 tid=0x0000000002792800 nid=0x3e1c runnable \[0x00000000025cf000\]

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 4]

我们前面找到占 cpu 最高的线程号： 15900 ，十六进制： 3e1c ，用 3e1c 去快照文件里面搜一下

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 5]

自此，找到问题

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 6]

Linux

排查方式与 Windows 版一样，只是命令有些区别

1、找到 cpu 占有率最高的 java 进程号

使用命令： top -c 显示运行中的进程列表信息， shift + p 使列表按 cpu 使用率排序显示

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 7]

PID = 2227 的进程，cpu 使用率最高

**2、根据进程号找到 cpu 占有率最高的线程号**

使用命令： top -Hp \{pid\} ，同样 shift + p 可按 cpu 使用率对线程列表进行排序

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 8]

PID = 2228 的线程消耗 cpu 最高，十进制的 2228 转成十六进制 8b4

**3、利用 jstack 生成虚拟机中所有线程的快照**

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 9]

**4、线程快照分析**

分析方式与 Windows 版一致，我们可以把 2227.stack 下载到本地进行分析，也可直接在 Linux 上分析

在 Linux 上分析，命令： cat 2227.stack |grep '8b4' -C 5

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 10]

至此定位到问题

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 11]

不管是在 Windows 下，还是在 Linux 下，排查套路都是一样的

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 12]

# 内存泄露 #

同样的，Windows、Linux 各展示一个示例

Windows

1、找到内存占有率最高的进程号 PID

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 13]

第一眼看上去， idea 内存占有率最高，因为我是以 idea 启动的 java 进程；idea 进程我们无需关注，我们找到内存占有率最高的 java 的 PID： 10824

**2、利用 jmap 生成堆转储快照**

命令： jmap -dump:format=b,file=\{path\} \{pid\}

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 14]

dump 文件路径： D:\\heapdump\_108244.hprof

**3、利用 MAT 分析 dump 文件**

MAT：Memory Analyzer Tool，是针对 java 的内存分析工具；下载地址：

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 15]

选择对应的版本，下载后直接解压；默认情况下，mat 最大内存是 1024m ，而我们的 dump 文件往往大于 1024m，所以我们需要调整，在 mat 的 home 目录下找到 MemoryAnalyzer.ini ，将 -Xmx1024m 修改成大于 dump 大小的空间， 我把它改成了 -Xmx4096m

接着我们就可以将 dump 文件导入 mat 中，开始 dump 文件的解析

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 16]

解析是个比较漫长的过程，我们需要耐心等待

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 17]

解析完成后，我们可以看到如下概况界面

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 18]

各个窗口的各个细节就不做详细介绍了，有兴趣的可自行去查阅资料；我们来看看几个图：饼状图、直方图、支配树、可疑的内存泄露报告

**饼状图**

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 19]

可以看出， com.lee.schedule.Schedule 对象持有 1G 内存，肯定有问题

**直方图**

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 20]

我们看下 Person 定义

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 21]

可想而知，上图标记的几项都与 Person 有关

支配树

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 22]

这就非常直观了，Schedule 中的 ArrayList 占了 99.04% 的大小

可疑的内存泄露报告

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 23]

通过这些数据，相信大家也能找到问题所在了

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 24]

Linux

排查方式与 Windows 一样，只是有稍许的命令区别

1、找到内存占有率最高的进程号

使用命令： top -c 显示运行中的进程列表信息， shift + m 按内存使用率进行排序

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 25]

进程号： 2527

2、利用 jmap 生成堆转储快照

命令： jmap -dump:format=b,file=\{path\} \{pid\}

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 26]

堆转储快照文件路径： /opt/heapdump\_2527.hprof

3、利用 MAT 分析堆转储快照

将 heapdump\_2448.phrof 下载到本地，利用 MAT 进行分析；分析过程与 Windows 版完全一致

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 27]

自此，定位到问题

Windows下 与 Linux 下，排查流程是一样的

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 28]

# 总结 #

# JVM 常用命令 #

jps：列出正在运行的虚拟机进程

jstat：监视虚拟机各种运行状态信息，可以显示虚拟机进程中的类装载、内存、垃圾收集、JIT编译等运行数据

jinfo：实时查看和调整虚拟机各项参数

jmap：生成堆转储快照，也可以查询 finalize 执行队列、Java 堆和永久代的详细信息

jstack：生成虚拟机当前时刻的线程快照

jhat：虚拟机堆转储快照分析工具

与 jmap 搭配使用，分析 jmap 生成的堆转储快照，与 MAT 的作用类似

# 排查步骤 #

1、先找到对应的进程： PID

2、生成线程快照 stack （或堆转储快照： hprof ）

3、分析快照（或堆转储快照），定位问题

# 内存泄露、内存溢出和 CPU 100% 关系 #

![JVM常见线上问题 → CPU 100%、内存泄露 问题排查][JVM_ _ CPU 100_ 29]

# 常用 JVM 性能检测工具 #

Eclipse Memory Analyer、JProfile、JProbe Profiler、JVisualVM、JConsole、Plumbr

[Link 1]: https://www.toutiao.com/i6881508437667086856/?tt_from=weixin&utm_campaign=client_share&wxshare_count=1&timestamp=1620435813&app=news_article&utm_source=weixin&utm_medium=toutiao_ios&use_new_style=1&req_id=2021050809033301013516002114217BA2&share_token=EFAA0688-BF37-4C33-9738-11099728DA5E&group_id=6881508437667086856&wid=1623692728259
[java]: https://www.toutiao.com/c/user/token/MS4wLjABAAAA8VtA3QvlsXp90XC8y5Z3SAAazpLeQUdW0dpq9ldjfBI/?source=tuwen_detail
[JVM_ _ CPU 100_]: /images/20221005/66644d7da9374d718cf2a6fc76213279.png
[JVM_ _ CPU 100_ 1]: /images/20221005/28bac10bff154eefa0627d8f8b9974a5.png
[JVM_ _ CPU 100_ 2]: /images/20221005/8ee1aabff6ed48b18f2757638df79ca9.png
[JVM_ _ CPU 100_ 3]: /images/20221005/60db069730844d85a203ad239f91e76d.png
[JVM_ _ CPU 100_ 4]: /images/20221005/e26a1ba3cbfa417f9d8b49e9cd4540d8.png
[JVM_ _ CPU 100_ 5]: /images/20221005/d3719791fdb94a01909c2a94a1ed8d1d.png
[JVM_ _ CPU 100_ 6]: /images/20221005/076a7077ca9c44f39b841a0f4a81cc24.png
[JVM_ _ CPU 100_ 7]: /images/20221005/618d95cd658644f9b999b356b913bd11.png
[JVM_ _ CPU 100_ 8]: /images/20221005/82545d874e0841c1b7dc6cd0244cc58f.png
[JVM_ _ CPU 100_ 9]: /images/20221005/691a5562d3a44e9388dfad66bbd4af04.png
[JVM_ _ CPU 100_ 10]: /images/20221005/cb70e6f7f2e54d01b014d3669df41f52.png
[JVM_ _ CPU 100_ 11]: /images/20221005/d28a52190b7143ec92790ac2ee4c90a1.png
[JVM_ _ CPU 100_ 12]: /images/20221005/9425ad992791444283b88d73385c5fc3.png
[JVM_ _ CPU 100_ 13]: /images/20221005/36e0686878e84e3e904d6a9b24459f10.png
[JVM_ _ CPU 100_ 14]: /images/20221005/b2b15ee358704b539489a312ee7b471b.png
[JVM_ _ CPU 100_ 15]: /images/20221005/ce608bf368354adf9ba61fa45f16a67a.png
[JVM_ _ CPU 100_ 16]: /images/20221005/48786a7f349c42a2938582dfb05212ee.png
[JVM_ _ CPU 100_ 17]: /images/20221005/7af1db5a9c4049c889943bbd2a8ac183.png
[JVM_ _ CPU 100_ 18]: /images/20221005/abd1231edd7d4d36974435691d112be3.png
[JVM_ _ CPU 100_ 19]: /images/20221005/87a259de00ee4e4b99c998c0b9a2920a.png
[JVM_ _ CPU 100_ 20]: /images/20221005/902d4400a4c94f10950d07aeb22369fb.png
[JVM_ _ CPU 100_ 21]: /images/20221005/16ca7bffd7764cc5bcc7824ce805fdb6.png
[JVM_ _ CPU 100_ 22]: /images/20221005/f116dd754d644a7588f7e446f3461c68.png
[JVM_ _ CPU 100_ 23]: /images/20221005/39aae519905148c790857324167a0217.png
[JVM_ _ CPU 100_ 24]: /images/20221005/d8c62a6f9a45466b9f898ee7f67796a9.png
[JVM_ _ CPU 100_ 25]: /images/20221005/4f8e5a0a11f84155ab4f99be66b91285.png
[JVM_ _ CPU 100_ 26]: /images/20221005/fc845feec66a4d6b9f50494436ca225b.png
[JVM_ _ CPU 100_ 27]: /images/20221005/03970adedf444beda25792d01a7f5a7c.png
[JVM_ _ CPU 100_ 28]: /images/20221005/63653f6877804553a0b3148d9a3af720.png
[JVM_ _ CPU 100_ 29]: /images/20221005/999cf553bc19427aa4304b2d0a830e20.png