记一次生产环境的严重bug

朱雀 2022-04-22 18:18 446阅读 0赞

在系统部署生产环境后， 在十天左右就会出现系统反应慢， 堆爆了，cpu占用百分百的情况。 在重启tomcat后情况就恢复了。

在经过详细的 跟踪， 线程dump, 堆dump 下来分析后， 线程没有问题，  发现有两个原因：

1： 通过memory  analyzer  分析 堆dump文件后，   有一个缓存对象无限增长，并保持活动， 导致回收不了， 堆爆掉。

2：由于后台 频繁gc, 导致系统响应慢，导致 liunx服务器的  time\_wait 连接数量飙升， 参数没有设置： 将超时等待的连接用于新的连接。 导致前台请求不够。

解决方案：

1: 缓存对象 无限增长 回收不了的问题 解决方案为：  本来使用过后不用的对象应该移除的， 没有移除成功， 将此bug修复， 保持增长和移除相对稳定。

2： 超时等待的原因解决： 文章地址： [https://www.aliyun.com/jiaocheng/810456.html][https_www.aliyun.com_jiaocheng_810456.html]

这个命令是查询连接数：

netstat -n | awk '/^tcp/ \{++state\[$NF\]\} END \{for(key in state) print key,"/t",state\[key\]\}'   
TIME\_WAIT 250263

TIME\_WAIT 250263   
CLOSE\_WAIT 57   
FIN\_WAIT2 3   
ESTABLISHED 2463   
SYN\_RECV 8

time\_wait 数量过多：

可以修改系统的/etc/sysctl.conf配置来减少TIME\_WAIT的tcp连接:  
vi /etc/sysctl.conf   
net.ipv4.tcp\_syncookies = 1(某些情况下该参数已启用)   
net.ipv4.tcp\_tw\_reuse = 1   
net.ipv4.tcp\_tw\_recycle = 1   
net.ipv4.tcp\_fin\_timeout = 30

然后执行/sbin/sysctl -p让参数生效。再用命令查看TIME\_WAIT连接数 netstat -ae | grep “TIME\_WAIT” |wc -l 发现大量的TIME\_WAIT 已不存在。

这个图片为：出现卡顿时的 jvisualvm 的监控， cpu使用百分比， 频繁gc, 堆使用百分百。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70][]

以下图片为 memory Analyzer 工具分析 堆dump文件的图像

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 1][]

以下图片为老区中 无限增长的对象的类名， 对象及大小。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 2][]

[https_www.aliyun.com_jiaocheng_810456.html]: https://www.aliyun.com/jiaocheng/810456.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70]: /images/20220327/57328bdf379745a8b47a085cae4535c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 1]: /images/20220327/3f012912c85841198c29c2e8311ebca1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbmdfamlhbl9kb25n_size_16_color_FFFFFF_t_70 2]: /images/20220327/1af3eb9e4aaa4636875504bd18bfc24b.png