记一次linux机器内存占用太多导致的服务宕机

灰太狼 2023-06-20 06:48 81阅读 0赞

### 背景 ###

最近我们测试环境部署的一个项目总是不停的宕机，之前也有过，但是最近特别频繁

### 猜测 ###

可能是因为cup或者内存占用太大导致的服务宕机

### 执行 ###

1.登录linux服务器

2.top命令

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h5X2NvbWluZw_size_16_color_FFFFFF_t_70][]

下面是对每一行信息的详解

*  **第一行：系统运行时间和平均负载**

当前时间、系统已运行时间、当前登录用户的数量、最近5、10、15分钟内的平均负载

*  **第二行：任务**

任务的总数、运行中(running)的任务、休眠(sleeping)中的任务、停止(stopped)的任务、僵尸状态(zombie)的任务

*  **第三行：cpu状态**

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;">字段</td> 
   <td style="vertical-align:top;">字段释义</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">us</td> 
   <td style="vertical-align:top;">user： 运行(未调整优先级的) 用户进程的CPU时间</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">sy</td> 
   <td style="vertical-align:top;">system: 运行内核进程的CPU时间</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">ni</td> 
   <td style="vertical-align:top;">niced：运行已调整优先级的用户进程的CPU时间</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">id</td> 
   <td style="vertical-align:top;">idle:空闲时间</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">wa</td> 
   <td style="vertical-align:top;">IO wait: 用于等待IO完成的CPU时间</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">hi</td> 
   <td style="vertical-align:top;">处理硬件中断的CPU时间</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">si</td> 
   <td style="vertical-align:top;">处理软件中断的CPU时间</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">st</td> 
   <td style="vertical-align:top;">这个虚拟机被hypervisor偷去的CPU时间（译注：如果当前处于一个hypervisor下的vm，实际上hypervisor也是要消耗一部分CPU处理时间的）</td> 
  </tr> 
 </tbody> 
</table>

*  **第四行：内存**

全部可用内存、已使用内存、空闲内存、缓冲内存

*  **第五行：swap**

全部、已使用、空闲和缓冲交换空间

*  **第七行至N行：各进程任务的的状态监控**

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;">字段</td> 
   <td style="vertical-align:top;">释义</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">PID</td> 
   <td style="vertical-align:top;">进程ID，进程的唯一标识符</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">USER</td> 
   <td style="vertical-align:top;">进程所有者的实际用户名</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">PR</td> 
   <td style="vertical-align:top;">进程的调度优先级。这个字段的一些值是'rt'。这意味这这些进程运行在实时态。</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">NI</td> 
   <td style="vertical-align:top;">进程的nice值（优先级）。越小的值意味着越高的优先级。负值表示高优先级，正值表示低优先级</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">VIRT</td> 
   <td style="vertical-align:top;"> <p><strong>virtual memory usage 虚拟内存</strong>,进程使用的虚拟内存。进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES</p> <p>1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等<br> 2、假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">RES</td> 
   <td style="vertical-align:top;"> <p><strong>resident memory usage 常驻内存,</strong>驻留内存大小。驻留内存是任务使用的非交换物理内存大小。进程使用的、未被换出的物理内存大小，单位kb。RES=CODE+DATA</p> <p>1、进程当前使用的内存大小，但不包括swap out<br> 2、包含其他进程的共享<br> 3、如果申请100m的内存，实际使用10m，它只增长10m，与VIRT相反<br> 4、关于库占用内存的情况，它只统计加载的库文件所占内存大小</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">SHR</td> 
   <td style="vertical-align:top;"> <p><strong>SHR：shared memory 共享内存</strong></p> <p>1、除了自身进程的共享内存，也包括其他进程的共享内存<br> 2、虽然进程只使用了几个共享库的函数，但它包含了整个共享库的大小<br> 3、计算某个进程所占的物理内存大小公式：RES – SHR<br> 4、swap out后，它将会降下来</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">S</td> 
   <td style="vertical-align:top;"> <p>这个是进程的状态。它有以下不同的值:</p> 
    <ul> 
     <li>D - 不可中断的睡眠态。</li> 
     <li>R – 运行态</li> 
     <li>S – 睡眠态</li> 
     <li>T – 被跟踪或已停止</li> 
     <li>Z – 僵尸态</li> 
    </ul></td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">%CPU</td> 
   <td style="vertical-align:top;">自从上一次更新时到现在任务所使用的CPU时间百分比<span style="color:#ff0000;">。%CPU显示的是进程占用一个核的百分比，而不是整个cpu（N核）的百分比，有时候可能大于100，那是因为该进程启用了多线程占用了多个核心，所以有时候我们看该值得时候会超过100%，但不会超过总核数*100</span></td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">%MEM</td> 
   <td style="vertical-align:top;">进程使用的可用物理内存百分比</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">TIME+</td> 
   <td style="vertical-align:top;">任务启动后到现在所使用的全部CPU时间，精确到百分之一秒</td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;">COMMAND</td> 
   <td style="vertical-align:top;">运行进程所使用的命令。进程名称（命令名/命令行）</td> 
  </tr> 
 </tbody> 
</table>

3.从上面的信息中，我们可以看到物理内存已经接近总值了，所以基本可以断定是因为这个原因导致

4.移除其他的几个处于sleep状态的服务，恢复正常

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h5X2NvbWluZw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2019120911464395.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h5X2NvbWluZw==,size_16,color_FFFFFF,t_70