【项目实战典型案例】20.内存长期占用导致系统慢

忘是亡心i 2023-10-11 21:07 62阅读 0赞

#### 目录 ####

*  一、背景介绍
 *  二、思路&方案
 *   *  1、服务内存占用过高的原因
     *  2、如何解决服务内存占用过高的原因
     *   *  ①、服务启动时分配的堆内存过小
         *  ②、具有大量对象被创建，并没有及时被GC回收或者由于具有引用GC无法回收
         *   *  1)、分析dump文件找到内存占用的原因
         *  ③、当GC之后，虽然会清理堆内的对象，但是并不会释放内存，没有把曾经申请到的内容归还给操作系统
 *  三、其他情况
 *   *  1、内存泄漏
     *  2、大对象或大数据集
     *  3、频繁创建和销毁对象
 *  四、如何解决
 *   *  1、内存泄漏检测和修复
     *  2、对象池和对象复用
     *  3、缓存数据
     *  4、优化算法和代码逻辑
     *  5、分页加载和懒加载
 *  五、总结

## 一、背景介绍 ##

目前又出现了爬取加载慢的情况；查了现在core服务的内存占用也是很高。  
![在这里插入图片描述][f27120f1a4254ddfb6b4bed86bc02828.png]  
![在这里插入图片描述][9c5a4fd377ad4f40ab11291be32e7916.png]  
![在这里插入图片描述][35d023c4422f41e5bf4bf6a760a1fe2f.png]

## 二、思路&方案 ##

### 1、服务内存占用过高的原因 ###

1.  服务启动时分配的堆内存过小
2.  具有大量对象被创建，并且没有及时被GC回收或者由于具有引用GC无法回收
3.  当GC之后，虽然会清理堆内的对象，但是并不会释放内存，没有把曾经申请到的内容归还给操作系统

### 2、如何解决服务内存占用过高的原因 ###

#### ①、服务启动时分配的堆内存过小 ####

*  \-Xms 为JVM启动时申请的初始Heap值，默认为操作系统物理内存的1/64但小于1G。默认当空余堆内存大于70%时，JVM会减小heap的大小到-Xms指定的大小，可通过-XX:MaxHeapFreeRation来指定这个比列。
 *  \-Xmx 为JVM运行时可申请的最大Heap值，默认值为物理内存的1/4但小于1G，默认当空余堆内存小于40%时，JVM会增大Heap到-Xmx指定的大小，可通过-XX:MinHeapFreeRation来指定这个比列。

#### ②、具有大量对象被创建，并没有及时被GC回收或者由于具有引用GC无法回收 ####

##### 1)、分析dump文件找到内存占用的原因 #####

①使用命令生成dump文件，其中 pid为进程号，生成的dump文件会在当前目录下。（生产环境运行时，禁止使用）

jmap -dump:[live,]format=b,file=<filename> <pid>

②使用jvisual分析dump文件（是jdk1.8自带的分析工具）  
![在这里插入图片描述][6fabcdcecaf0477399b5dcf77387d61e.png]  
![在这里插入图片描述][54f91edee2f44978b3454b4af5891c96.png]

#### ③、当GC之后，虽然会清理堆内的对象，但是并不会释放内存，没有把曾经申请到的内容归还给操作系统 ####

可以参考[GC机制详解][GC]

1.  尽早释放无用对象的引用
2.  尽量少用finalize函数
3.  如果需要使用经常使用的图片，可以使用soft应用类型。它可以尽可能将图片保存在内存中，供程序调用，而不引起OutOfMemory
4.  注意结合数据类型，包括数组、树、图、链表等数据结构
5.  可以手动执行System.gc()

## 三、其他情况 ##

### 1、内存泄漏 ###

内存泄漏是指程序中已分配的内存没有被正确释放，导致这部分内存无法再被其他程序使用。常见的内存泄漏情况包括未及时释放资源、循环引用等。

### 2、大对象或大数据集 ###

大对象或大数据集：如果程序中存在大对象或大数据集，会占用较多的内存空间。特别是在处理图像、视频、大型文件等场景下，需要注意内存的使用情况。

### 3、频繁创建和销毁对象 ###

如果程序中频繁创建和销毁对象，会导致内存占用增加。特别是在循环或递归操作中，如果每次迭代都创建新的对象而不进行复用，会导致内存占用过高。

## 四、如何解决 ##

### 1、内存泄漏检测和修复 ###

通过使用内存泄漏检测工具，定位和修复内存泄漏问题。确保程序中分配的内存能够被正确释放。

### 2、对象池和对象复用 ###

使用对象池技术，提前创建一定数量的对象并保存在池中，需要时从池中获取对象并使用，使用完后放回池中供其他请求使用。避免频繁创建和销毁对象，减少内存占用。

### 3、缓存数据 ###

对于一些频繁使用的数据，可以将其缓存起来，避免重复创建对象。使用缓存库或自定义缓存机制来实现数据的缓存，减少内存占用

### 4、优化算法和代码逻辑 ###

通过优化算法和代码逻辑，减少不必要的对象创建和内存占用。避免在循环中创建对象，尽量使用基本数据类型代替包装类型等。

### 5、分页加载和懒加载 ###

对于大数据集或大对象，可以采用分页加载或懒加载的方式，只在需要时加载部分数据，减少内存占用。

## 五、总结 ##

对于内存飙升的问题我们可以通过压测的方式进行复现问题，根据内存分析工具聚焦到是哪一部分的问题，然后针对相应的进行代码的优化。也可以根据使用场景来选择对应的垃圾回收器和对应的机制。

解决内存升高的问题需要注意内存泄漏的检测和修复，使用对象池和对象复用技术，缓存数据，优化算法和代码逻辑，以及采用分页加载和懒加载的方式。通过这些方案，可以有效减少内存占用，提高系统的性能和稳定性。

[f27120f1a4254ddfb6b4bed86bc02828.png]: https://img-blog.csdnimg.cn/f27120f1a4254ddfb6b4bed86bc02828.png
[9c5a4fd377ad4f40ab11291be32e7916.png]: https://img-blog.csdnimg.cn/9c5a4fd377ad4f40ab11291be32e7916.png
[35d023c4422f41e5bf4bf6a760a1fe2f.png]: https://img-blog.csdnimg.cn/35d023c4422f41e5bf4bf6a760a1fe2f.png
[6fabcdcecaf0477399b5dcf77387d61e.png]: https://img-blog.csdnimg.cn/6fabcdcecaf0477399b5dcf77387d61e.png
[54f91edee2f44978b3454b4af5891c96.png]: https://img-blog.csdnimg.cn/54f91edee2f44978b3454b4af5891c96.png
[GC]: https://blog.csdn.net/laomo_bible/article/details/83112622