k8s集群部署成功后某个节点突然出现notready状态的问题原因分析和解决办法

怼烎@ 2024-02-05 18:41 22阅读 0赞

#### 文章目录 ####

*   *  1、问题描述
     *  2、查看node03的日志
     *  3、错误原因分析
     *  4、解决办法

### 1、问题描述 ###

k8s集群配置为 一主+三个节点；刚开始运行一直正常；某天突然node03主机状态变为notready，问题如下：

在master节点使用：

#master节点查看节点工作状态
    kubectl get nodes

![在这里插入图片描述][fd6f2cf0a1274c7e8af339e8b5b9cdf0.png]  
出现node03节点的状态为NotReady。

### 2、查看node03的日志 ###

在node03节点中使用一下命令查看报错信息，代码:

#node03节点查看日志
    journalctl -f -u kubelet.service

![在这里插入图片描述][ad24a3c0babc43b785f3584777500ab5.png]  
***报错意思是不能加载kubelet配置文件！  
报错意思是不能加载kubelet配置文件！  
报错意思是不能加载kubelet配置文件！***

-- Logs begin at 四 2023-12-21 15:25:07 CST. --
    12月 22 01:01:00 tigerhhzz-node03-43 systemd[1]: Unit kubelet.service entered failed state.
    12月 22 01:01:00 tigerhhzz-node03-43 systemd[1]: kubelet.service failed.
    12月 22 01:01:10 tigerhhzz-node03-43 systemd[1]: kubelet.service holdoff time over, scheduling restart.
    12月 22 01:01:10 tigerhhzz-node03-43 systemd[1]: Stopped kubelet: The Kubernetes Node Agent.
    12月 22 01:01:10 tigerhhzz-node03-43 systemd[1]: Started kubelet: The Kubernetes Node Agent.
    12月 22 01:01:10 tigerhhzz-node03-43 kubelet[121391]: Flag --cgroup-driver has been deprecated, This parameter should be set via the config file specified by the Kubelet's --config flag. See https://kubernetes.io/docs/tasks/administer-cluster/kubelet-config-file/ for more information.
    12月 22 01:01:10 tigerhhzz-node03-43 kubelet[121391]: F1222 01:01:10.301771  121391 server.go:198] failed to load Kubelet config file /var/lib/kubelet/config.yaml, error failed to read kubelet config file "/var/lib/kubelet/config.yaml", error: open /var/lib/kubelet/config.yaml: no such file or directory
    12月 22 01:01:10 tigerhhzz-node03-43 systemd[1]: kubelet.service: main process exited, code=exited, status=255/n/a
    12月 22 01:01:10 tigerhhzz-node03-43 systemd[1]: Unit kubelet.service entered failed state.
    12月 22 01:01:10 tigerhhzz-node03-43 systemd[1]: kubelet.service failed.
    12月 22 01:01:20 tigerhhzz-node03-43 systemd[1]: kubelet.service holdoff time over, scheduling restart.
    12月 22 01:01:20 tigerhhzz-node03-43 systemd[1]: Stopped kubelet: The Kubernetes Node Agent.
    12月 22 01:01:20 tigerhhzz-node03-43 systemd[1]: Started kubelet: The Kubernetes Node Agent.
    12月 22 01:01:20 tigerhhzz-node03-43 kubelet[121400]: Flag --cgroup-driver has been deprecated, This parameter should be set via the config file specified by the Kubelet's --config flag. See https://kubernetes.io/docs/tasks/administer-cluster/kubelet-config-file/ for more information.
    12月 22 01:01:20 tigerhhzz-node03-43 kubelet[121400]: F1222 01:01:20.508883  121400 server.go:198] failed to load Kubelet config file /var/lib/kubelet/config.yaml, error failed to read kubelet config file "/var/lib/kubelet/config.yaml", error: open /var/lib/kubelet/config.yaml: no such file or directory
    12月 22 01:01:20 tigerhhzz-node03-43 systemd[1]: kubelet.service: main process exited, code=exited, status=255/n/a
    12月 22 01:01:20 tigerhhzz-node03-43 systemd[1]: Unit kubelet.service entered failed state.
    12月 22 01:01:20 tigerhhzz-node03-43 systemd[1]: kubelet.service failed.
    12月 22 01:01:30 tigerhhzz-node03-43 systemd[1]: kubelet.service holdoff time over, scheduling restart.
    12月 22 01:01:30 tigerhhzz-node03-43 systemd[1]: Stopped kubelet: The Kubernetes Node Agent.
    12月 22 01:01:30 tigerhhzz-node03-43 systemd[1]: Started kubelet: The Kubernetes Node Agent.
    12月 22 01:01:30 tigerhhzz-node03-43 kubelet[121407]: Flag --cgroup-driver has been deprecated, This parameter should be set via the config file specified by the Kubelet's --config flag. See https://kubernetes.io/docs/tasks/administer-cluster/kubelet-config-file/ for more information.
    12月 22 01:01:30 tigerhhzz-node03-43 kubelet[121407]: F1222 01:01:30.820217  121407 server.go:198] failed to load Kubelet config file /var/lib/kubelet/config.yaml, error failed to read kubelet config file "/var/lib/kubelet/config.yaml", error: open /var/lib/kubelet/config.yaml: no such file or directory
    12月 22 01:01:30 tigerhhzz-node03-43 systemd[1]: kubelet.service: main process exited, code=exited, status=255/n/a
    12月 22 01:01:30 tigerhhzz-node03-43 systemd[1]: Unit kubelet.service entered failed state.
    12月 22 01:01:30 tigerhhzz-node03-43 systemd[1]: kubelet.service failed.

由日志信息可知，报错原因是不能从/var/llib/kubelet/config.yaml下载到kubelet的配置。

### 3、错误原因分析 ###

可能node03主机自身某种原因，出现宕机后重启，然后在 kubeadm init初始化后没有加入node03节点到集群中，不能加载kubelet的配置文件/var/lib/kubelet/config.yaml，导致读取/var/llib/kubelet/config.yaml文件失败。

另外估计是我之前没有做 kubeadm init就运行了systemctl start kubelet。

### 4、解决办法 ###

在master节点，重新生成token，然后尝试在node03问题节点上重新更新token。

## master节点操作
    kubeadm token create --print-join-command

![在这里插入图片描述][e9b25fb35dfa4930ae3e6564e908c960.png]  
kubeadm join 192.168.162.31:6443 --token 6u1q3a.qxhb1wyjztsp34ty --discovery-token-ca-cert-hash sha256:967bbc3b30871241bbfd61e42ae5fa836e08111a5a43d63b319f028fdbc2241a

在node03节点运行一下代码：（尝试重新加入集群）

## node03节点操作
    kubeadm join 192.168.162.31:6443 --token 6u1q3a.qxhb1wyjztsp34ty     --discovery-token-ca-cert-hash sha256:967bbc3b30871241bbfd61e42ae5fa836e08111a5a43d63b319f028fdbc2241a

出现以下情况表明成功加入：  
![在这里插入图片描述][b475115d9611450bbe8c9ad0373c9f8f.png]  
此时查看node03 kubelet的状态

systemctl status kubelet

![在这里插入图片描述][78709513aae8452eb897dbf4afa2921e.png]  
kubelet在node03节点成功运行，node03重新加入集群之后查看所有节点状态，。

继续返回master节点主机查看所有节点状态：

kubectl get nodes

![在这里插入图片描述][6bdca9dcbe8c44d191e33eba9f58d709.png]

所有节点状态为ready，问题解决！！！

[fd6f2cf0a1274c7e8af339e8b5b9cdf0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/fd33673a6dab44b58c7e6bb395100574.png
[ad24a3c0babc43b785f3584777500ab5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/7cfbcfd26a7d40cfa5853d69f15d03c1.png
[e9b25fb35dfa4930ae3e6564e908c960.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/3f4657bb032149dd8d89229aa5a75e21.png
[b475115d9611450bbe8c9ad0373c9f8f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/47de4427567b450a939ada10f4eca44a.png
[78709513aae8452eb897dbf4afa2921e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/2e30faa16f9742559b4cb0f85729c3d1.png
[6bdca9dcbe8c44d191e33eba9f58d709.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/f6e9846a276349e59980250a80ff0350.png

发表评论取消回复

表情：

评论列表（有 0 条评论，22人围观）

还没有评论，来说两句吧...

相关阅读

相关 k8s集群部署成功后某个节点突然出现notready状态的问题原因分析和解决办法

文章目录 1、问题描述 2、查看node03的日志 3、错误原因分析 4、解决办法 1、问题描述 k8s集群

怼烎@/ 2024年02月05日 18:41/ 0 赞/ 23 阅读

相关 k8s集群dns问题解决办法

[k8s集群dns问题解决办法][k8s_dns] 目录 [故障类型][Link 1] [解决办法][Link 2] 测试脚本

亦凉/ 2023年10月05日 19:09/ 0 赞/ 136 阅读

相关 K8S集群部署

一、利用ansible部署kubernetes准备：集群介绍本系列文档致力于提供快速部署高可用k8s集群的工具，并且也努力成为k8s实践、使用的参考书；基于二进

╰半夏微凉°/ 2023年08月17日 16:48/ 0 赞/ 350 阅读

相关 k8s节点变为NotReady状态

记录一个小教训。切记： k8s安装完成后不要轻易修改hostname。问题： k8s的master节点变为notReady，另外一个worker节点正常。 ![在

╰+哭是因爲堅強的太久メ/ 2023年07月12日 14:11/ 0 赞/ 140 阅读

相关 k8s集群节点状态变成NotReady，SchedulingDisabled

k8s集群节点状态变成NotReady，SchedulingDisabled。 otReady，是因为kubelet服务与kube-apiserver没有正常通信，需要检查k

深藏阁楼爱情的钟/ 2023年01月22日 09:52/ 0 赞/ 97 阅读

相关 k8s_node节点NotReady重新加入集群

今天上线查看集群状态发现 NAME STATUS ROLES AGE VERSION master Ready mas

小咪咪/ 2023年01月20日 09:47/ 0 赞/ 78 阅读

相关 k8s集群解决节点NotReady问题

一般情况下我们是在maste节点上安装网络插件的，然后在join node 节点，这样导致node节点可能无法加载到这些插件使用 journalctl -f

╰+哭是因爲堅強的太久メ/ 2022年12月07日 12:15/ 0 赞/ 1123 阅读

相关 k8s 节点问题状态notready 解决方案

notready Failed to start ContainerManager Cannot set property TasksAccounting, or unknow

朴灿烈づ我的快乐病毒、/ 2022年10月14日 12:55/ 0 赞/ 302 阅读

相关 k8s集群部署

一准备机器三台Centos 8.2，至少2核CPU+2G内存+20G硬盘， uname -r >3.1 <table style="width:599px;

梦里梦外;/ 2022年09月11日 00:24/ 0 赞/ 565 阅读

相关 k8s集群部署七（部署Node节点组件）

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 在master节点执行命令 \ kubectl cre

╰半橙微兮°/ 2022年01月13日 13:01/ 0 赞/ 630 阅读