《Kubernetes故障篇：Kubernetes集群master节点断电后etcd数据库崩溃》

男娘i 2023-01-18 11:29 69阅读 0赞

### 文章目录 ###

*  一、故障描述
 *  二、故障分析
 *  三、解决方案
 *  四、故障总结
 *  总结：整理不易，如果对你有帮助，可否点赞关注一下？

--------------------

# 一、故障描述 #

**当前K8S环境为多master集群，其中一台master主机断电，重新启动服务器后发现K8S集群不能自动启动。**

**如下图所示：**  
![在这里插入图片描述][202105061016032.png]

--------------------

# 二、故障分析 #

**1、查看容器，发现etcd数据库没有起来。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70]  
**2、查看etcd容器日志**

**说明：通过下图日志分析分析etcd数据库文件损坏。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 1]

--------------------

# 三、解决方案 #

# 由于当前环境是生产环境，所以任何对数据库的操作一定要慎重。
    
    # 解决方法如下：
    # 1、通过etcd容器日志发现，etcd集群数据存储目录为/var/lib/etcd/member
    
    # 2、关闭etcd集群容器服务（docker stop 容器id）
    
    # 3、将k8s-master-155主机上的/var/lib/etcd/member下的目录文件移除到另外一个目录下
      mv /var/lib/etcd/member/* /opt
    
    # 4、k8s集群master节点有3个，其中k8s-master-149和k8s-master-160是正常的，
    # 将k8s-master-149的/var/lib/etcd/member下的目录数据拷贝到k8s-master-155主机上的/var/lib/etcd/member目录下
      scp -r /var/lib/etcd/member/* 192.168.1.155:/var/lib/etcd/member/
    
    # 5、启动etcd集群

**如下所示，则表示恢复正常。**  
![在这里插入图片描述][20210506103957496.png]

--------------------

# 四、故障总结 #

**1、百度一下有人的做法是删除损坏的文件让它重新自动生成新的数据库，生产环境建议不要这么做，毕竟你不知道会带来什么更加严重的后果。**  
**2、生产环境etcd数据库一定要做备份，不然出现问题时后果难料。**  
**3、遇到问题不要慌，不要动不动推到重来，一定要对问题精准分析，谨慎处理，最后在测试环境模拟验证，然后在生产环境解决处理。**

--------------------

# 总结：整理不易，如果对你有帮助，可否点赞关注一下？ #

更多详细内容请参考：[企业级k8s集群监控实战][k8s]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 2]

[202105061016032.png]: /images/20221021/ff8e2ce4678f4dd48b14fc17be927838.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70]: /images/20221021/188eb06131d34b0ba125281319934690.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 1]: /images/20221021/6fd491b80cc9466dad569125ed36fc0a.png
[20210506103957496.png]: /images/20221021/56580816818543b69bdd2abdc723e6cf.png
[k8s]: https://blog.csdn.net/m0_37814112/category_10856890.html?spm=1001.2014.3001.5482
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 2]: /images/20221021/272b5ffe71e346de82d07598744b331a.png