kubesphere3.0的安装完整文档

妖狐艹你老母 2023-10-04 10:37 30阅读 0赞

## kubesphere3.0的安装文档 ##

> https://www.yuque.com/leifengyang/kubesphere/hxzk3t\#SAP5W

基于kubernetes环境安装kubesphere3.0的安装文档

本文档主要是在centos7系统下基于kubernetes环境安装kubesphere3.0的安装文档。

## 1 环境准备 ##

### 1.1 系统要求 ###

本地虚拟机三台

要求：centos7.6~7.8；以下为

https://kuboard.cn/install/install-k8s.html\#%E6%A3%80%E6%9F%A5-centos-hostname 网站的检验结果。

<table> 
 <thead> 
  <tr> 
   <th>CentOS 版本</th> 
   <th>本文档是否兼容</th> 
   <th>备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>7.8</td> 
   <td>是</td> 
   <td>已经验证</td> 
  </tr> 
  <tr> 
   <td>7.7</td> 
   <td>是</td> 
   <td>已经验证</td> 
  </tr> 
  <tr> 
   <td>7.6</td> 
   <td>是</td> 
   <td>已经验证</td> 
  </tr> 
  <tr> 
   <td>7.5</td> 
   <td>否</td> 
   <td>已证实会出现 kubelet 无法启动的问题</td> 
  </tr> 
  <tr> 
   <td>7.4</td> 
   <td>否</td> 
   <td>已证实会出现 kubelet 无法启动的问题</td> 
  </tr> 
  <tr> 
   <td>7.3</td> 
   <td>否</td> 
   <td>已证实会出现 kubelet 无法启动的问题</td> 
  </tr> 
  <tr> 
   <td>7.2</td> 
   <td>否</td> 
   <td>已证实会出现 kubelet 无法启动的问题</td> 
  </tr> 
 </tbody> 
</table>

### 1.2 虚拟机安装步骤 ###

安装虚拟机比较的简单，这里不做介绍。

#### 1.2.1 创建客户机的向导 ####

##### 1.2.1.1 创建新的虚拟机 #####

![image][]

点击创建新的虚拟机。

##### 1.2.1.2 新建虚拟机向导 #####

![image][image 1]

选择典型，点击下一步。

##### 1.2.1.3 安装客户机的操作系统 #####

![image][image 2]

选择稍后安装操作系统，点击下一步。

##### 1.2.1.4 选择客户机的操作系统类型 #####

![image][image 3]

我们这里安装的Linux Centos7版本。这里我们选择的Linux系统。版本选择Redhat Enterpise Linux7 64位。

##### 1.2.1.5 命名客户机和存储位置 #####

![image][image 4]

这里根据自己的情况设置客户机的名称以及客户存储的本地的位置。

##### 1.2.1.6 配置客户机的磁盘的大小 #####

![image][image 5]

默认给出的20G，这里我设置的大一写。设置成100G。点击下一步。

##### 1.2.1.7 已经准备创建好的客户机 #####

![image][image 6]

点击完成。基本的客户机的创建向导完成。

##### 1.2.1.8 配置客户机的属性 #####

###### 1.2.1.8.1 内存配置大小 ######

![image][image 7]

这里我们一般设置成企业：8G、个人使用2G做演示。

###### 1.2.1.8.2 处理器配置 ######

![image][image 8]

处理器配置，我们一般配置成2个处理器。

###### 1.2.1.8.3 硬盘配置 ######

![image][image 9]

这里默认选择。不需要操作。

###### 1.2.1.8.4 CD/DVD配置 ######

![image][image 10]

设备状态设置成启动时连接，选择ISO镜像文件连接并配置好连接。

###### 1.2.1.8.5 网络适配器配置 ######

![image][image 11]

在本地配置下我们使用的NAT模式。如果在企业搭建上，建议使用桥接模式。

###### 1.2.1.8.6 USB控制器配置 ######

![image][image 12]

对服务器来说，不需要该设备。移除即可。

###### 1.2.1.8.7 声卡配置 ######

![image][image 13]

对服务器来说，不需要该设备。移除即可。

###### 1.2.1.8.8 打印机配置 ######

![image][image 14]

对服务器来说，不需要该设备。移除即可。

###### 1.2.1.8.9 显示器配置 ######

![image][image 15]

不需要操作，使用默认即可。

这里客户机的基本的配置基本完成。

##### 1.2.1.9 安装客户机的步骤 #####

###### 1.2.1.9.1 开始安装客户机系统 ######

![image][image 16]

###### 1.2.1.9.2 按下回车开始安装配置虚拟机安装属性 ######

![image][image 17]

等待加载系统镜像完毕。

###### 1.2.1.9.3 选择客户机的系统语言 ######

![image][image 18]

这里我们选择中文简体。点击继续。

###### 1.2.1.9.4 设置安装客户机的基本配置 ######

###### 1.2.1.9.4.1 安装选择类型 ######

![image][image 19]

![image][image 20]

点击完成。

###### 1.2.1.9.5 开始安装客户机系统 ######

![image][image 21]

点击开始安装。

###### 1.2.1.9.6 用户设置 ######

![image][image 22]

创建密码。自己记住即可。这里是管理员登录密码。

###### 1.2.1.9.7 安装系统进行中 ######

![image][image 23]

此处需要等待一段时间，不同的机器配置等待的时间不一致。

###### 1.2.1.9.8 初始化客户机的步骤 ######

安装成功之后，我们看到以下的图。

![image][image 24]

点击重启即可。

###### 1.2.1.9.9 接受许可证 ######

![image][image 25]

勾选我同意许可协议。重启系统。输入用户名密码登录到系统。至此我们的系统客户机安装成功。

###### 1.2.1.9.10 系统欢迎页面 ######

![image][image 26]

选择汉语，点击前进。

###### 1.2.1.9.11 自定义键盘输入法 ######

![image][image 27]

选择汉语，点击前进。

###### 1.2.1.9.12 隐私设置 ######

![image][image 28]

点击前进。

###### 1.2.1.9.13 在线登录账号 ######

![image][image 29]

这里我们跳过即可。

###### 1.2.1.9.14 开始使用系统 ######

![image][image 30]

###### 1.2.1.9.15 打开终端输入命令行查询IP地址 ######

![image][image 31]

![image][image 32]

我们连接的ens33的网卡，因此我们得到的本地的IP地址为：192.168.196.128，这里每个人的IP地址不一样。根据自己的实际情况获取IP地址。

###### 1.2.1.9.15.1 注意，如果没有ip显示： ######

你可以在/etc/sysconfig/network-scripts 这个目录下面的ifcfg-ens33这个文件里面的**O\*\*\*\*NBOOT=no，修改成ONBOOT=yes，然后通过命于重新启动网络服务。**

![image][image 33]

**重新启动网络服务：**

/etc/init.d/network restart 或 service network restart

![image][image 34]

然后可设置静态网络ip：

设置静态ip的话，一定要记住，设置GATEWAY网关的时候要跟虚拟网络编辑器的网关要一致，否则无法上网！！！

![image][image 35]

**设置完静态IP以后重新启动网络服务：**

/etc/init.d/network restart 或 service network restart

然后测试能不能上网:

ping www.baidu.com

![image][image 36]

###### 1.2.1.9.16 使用外部客户端工具连接 ######

![image][image 37]

这里虚拟机安装centos7系统完成。

安装安装上述的安装方式，需要安装三台虚拟机。

### 1.3 虚拟机环境如下 ###

<table> 
 <thead> 
  <tr> 
   <th>IP地址</th> 
   <th>说明</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>192.168.142.144</td> 
   <td>master节点</td> 
   <td>8G内存 4核CPU</td> 
  </tr> 
  <tr> 
   <td>192.168.142.145</td> 
   <td>node1节点</td> 
   <td>8G内存 4核CPU</td> 
  </tr> 
  <tr> 
   <td>192.168.142.146</td> 
   <td>node2节点</td> 
   <td>8G内存 4核CPU</td> 
  </tr> 
 </tbody> 
</table>

### 1.4 前置步骤说明 ###

1.  centos 版本为 7.6 或 7.7、CPU 内核数量大于等于 2，且内存大于等于 4G。
2.  hostname 不是 localhost，且不包含下划线、小数点、大写字母。
3.  任意节点都有固定的内网 IP 地址(集群机器统一内网)。
4.  任意节点上 IP 地址 可互通（无需 NAT 映射即可相互访问），且没有防火墙、安全组隔离。
5.  任意节点不会直接使用 docker run 或 docker-compose 运行容器，Pod。

#### 1.4.1 安装基础工具 ####

yum install -y wget && yum install -y vim && yum install -y lsof && yum install -y net-tools

![image][image 38]

#### 1.4.2 配置hosts的地址名称 ####

vim /etc/hosts 192.168.142.147 k8s-node1192.168.142.148 k8s-node2192.168.142.149 k8s-node3hostnamectl set-hostname ：指定新的hostname su 切换过来

#### 1.4.3 关闭防火墙或者阿里云开通安全组端口访问 ####

systemctl stop firewalldsystemctl disable firewalld 执行关闭命令： systemctl stop firewalld.service再次执行查看防火墙命令：systemctl status firewalld.service执行开机禁用防火墙自启命令 ： systemctl disable firewalld.service

![image][image 39]

![image][image 40]![image][image 41]

#### 1.4.4 关闭 selinux ####

sed -i ‘s/enforcing/disabled/’ /etc/selinux/configsetenforce 0cat /etc/selinux/config

![image][image 42]

![image][image 43]

![image][image 44]

#### 1.4.5 关闭 swap ####

swapoff -a \#临时sed -ri ‘s/.*swap.*/\#&/’ /etc/fstab \#永久free -l -h

![image][image 45]

![image][image 46] ![image][image 47]

#### 1.4.6 将桥接的 IPv4 流量传递到 iptables 的链 ####

##### 1.4.6.1 如果没有/etc/sysctl.conf文件的话直接执行 #####

echo “net.ipv4.ip\_forward = 1” >> /etc/sysctl.confecho “net.bridge.bridge-nf-call-ip6tables = 1” >> /etc/sysctl.confecho “net.bridge.bridge-nf-call-iptables = 1” >> /etc/sysctl.confecho “net.ipv6.conf.all.disable\_ipv6 = 1” >> /etc/sysctl.confecho “net.ipv6.conf.default.disable\_ipv6 = 1” >> /etc/sysctl.confecho “net.ipv6.conf.lo.disable\_ipv6 = 1” >> /etc/sysctl.confecho “net.ipv6.conf.all.forwarding = 1” >> /etc/sysctl.conf

![image][image 48]

![image][image 49]

##### 1.4.6.2 如果有该文件可以执行以下命令 #####

sed -i “s\#^net.ipv4.ip\_forward.*\#net.ipv4.ip\_forward=1\#g" /etc/sysctl.confsed -i "s\#^net.bridge.bridge-nf-call-ip6tables.*\#net.bridge.bridge-nf-call-ip6tables=1\#g” /etc/sysctl.confsed -i “s\#^net.bridge.bridge-nf-call-iptables.*\#net.bridge.bridge-nf-call-iptables=1\#g" /etc/sysctl.confsed -i "s\#^net.ipv6.conf.all.disable\_ipv6.*\#net.ipv6.conf.all.disable\_ipv6=1\#g” /etc/sysctl.confsed -i “s\#^net.ipv6.conf.default.disable\_ipv6.*\#net.ipv6.conf.default.disable\_ipv6=1\#g" /etc/sysctl.confsed -i "s\#^net.ipv6.conf.lo.disable\_ipv6.*\#net.ipv6.conf.lo.disable\_ipv6=1\#g” /etc/sysctl.confsed -i “s\#^net.ipv6.conf.all.forwarding.\*\#net.ipv6.conf.all.forwarding=1\#g” /etc/sysctl.conf

![image][image 50]

![image][image 51]

##### 1.4.6.3 执行命令以应用 #####

sysctl -p

![image][image 52]

![image][image 53]

#### 1.4.7 安装Docker环境（所有节点） ####

##### 1.4.7.1 卸载旧版本的docker #####

sudo yum remove docker \\ docker-client \\ docker-client-latest \\ docker-common \\ docker-latest \\ docker-latest-logrotate \\ docker-logrotate \\ docker-engine

![image][image 54]

![image][image 55]

##### 1.4.7.2 安装基础依赖 #####

yum install -y yum-utils \\device-mapper-persistent-data \\lvm2

![image][image 56]

![image][image 57]

##### 1.4.7.3 配置docker yum源 #####

sudo yum-config-manager --add-repo \\http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

![image][image 58]

##### 1.4.7.4 安装并启动 docker #####

yum install -y docker-ce-19.03.8 docker-ce-cli-19.03.8 containerd.iosystemctl enable dockersystemctl start dockerdocker version

![image][image 59]

![image][image 60]

![image][image 61]

![image][image 62]

![image][image 63]

##### 1.4.7.5 配置docker加速 #####

###### 1.4.7.5.1 创建docker加速文件夹 ######

sudo mkdir -p /etc/docker

###### 1.4.7.5.2 登录阿里云获取镜像 ######

![image][image 64]

![image][image 65]

如果没有的话，需要手动输入“容器镜像服务”。

![image][image 66]

![image][image 67]

sudo tee /etc/docker/daemon.json <<-‘EOF’\{ “registry-mirrors”: \[“https://11l3ppzn.mirror.aliyuncs.com”\]\}EOF

![image][image 68]

systemctl daemon-reloadsystemctl restart docker

![image][image 69]

#### 1.4.8 安装k8s环境 ####

##### 1.4.8.1 安装k8s、kubelet、kubeadm、kubectl（所有节点） #####

###### 1.4.8.1.1 配置K8S的yum源 ######

cat < /etc/yum.repos.d/kubernetes.repo\[kubernetes\]name=Kubernetesbaseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86\_64enabled=1gpgcheck=0repo\_gpgcheck=0gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpgEOF

![image][image 70]

###### 1.4.8.1.2 卸载旧版本 ######

<table> 
 <thead> 
  <tr> 
   <th>yum remove -y kubelet kubeadm kubectl</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

![image][image 71]

###### 1.4.8.1.3 安装kubelet、kubeadm、kubectl ######

yum install -y kubelet-1.17.3 kubeadm-1.17.3 kubectl-1.17.3

![image][image 72]

![image][image 73]

![image][image 74]

必须等待三台主机安装成功。

###### 1.4.8.1.4 开机启动和重启kubelet ######

systemctl enable kubelet && systemctl start kubelet

![image][image 75]

注意，如果此时查看kubelet的状态，他会无限重启，等待接收集群命令，和初始化。这个是正常的。

##### 1.4.8.2 初始化所有节点 #####

###### 1.4.8.2.1 创建一个shell脚本内容如下 ######

新建一个shell脚本名称为image.sh

vi images.sh \#!/bin/bashimages=( kube-apiserver:v1.17.3 kube-proxy:v1.17.3 kube-controller-manager:v1.17.3 kube-scheduler:v1.17.3 coredns:1.6.5 etcd:3.4.3-0 pause:3.1)for imageName in  i m a g e s \[ @ \] ; d o d o c k e r p u l l r e g i s t r y . c n − h a n g z h o u . a l i y u n c s . c o m / g o o g l e c o n t a i n e r s / \{images\[@\]\} ; do docker pull registry.cn-hangzhou.aliyuncs.com/google\_containers/ images\[@\];dodockerpullregistry.cn−hangzhou.aliyuncs.com/googlecontainers/imageNamedone

![image][image 76]

![image][image 77]

###### 1.4.8.2.2 将该脚本授予可执行的权限 ######

chmod -R 700 images.sh

![image][image 78]

###### 1.4.8.2.3 执行该脚本命令 ######

./images.sh 比较慢，耐心等待

![image][image 79]

![image][image 80]

![image][image 81]

###### 1.4.8.2.4 初始化master节点 ######

注意，该操作只是在master节点之后构建环境。

kubeadm init --apiserver-advertise-address=192.168.142.144 --image-repository registry.cn-hangzhou.aliyuncs.com/google\_containers --kubernetes-version v1.17.3 --service-cidr=10.96.0.0/16 --pod-network-cidr=10.244.0.0/16

–apiserver-advertise-address=10.12.0.9

这里的地址需要修改成master对应的IP地址。

###### 1.4.8.2.4.1 如果输入以上内容报错： ######

![image][image 82]

\[ERROR FileContent–proc-sys-net-bridge-bridge-nf-call-iptables\]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1

\[preflight\] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`

To see the stack trace of this error execute with --v=5 or higher

解决方案：

echo “1” >/proc/sys/net/bridge/bridge-nf-call-iptables

![image][image 83]

![image][image 84]

初始化完成。

###### 1.4.8.2.5 配置 kubectl ######

这里注意的是，一定成初始化成功后面获取复制。

![image][image 85]

mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown  ( i d − u ) : (id -u): (id−u):(id -g) $HOME/.kube/config

![image][image 86]

###### 1.4.8.2.6 部署网络插件 ######

kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

![image][image 87]

###### 1.4.8.2.7 查看节点运行的情况 ######

kubectl get nodes

![image][image 88]

###### 1.4.8.2.8 查看所有的pod的运行的情况 ######

kubectl get pods -A

![image][image 89]

这里需要注意的是，必须等所有的状态为Runing才能进行下一步操作。

###### 1.4.8.2.8.1 如果上面操作导致pod有报错： ######

比如爆

error: the server doesn’t have a resource type “calico-kube-controllers-544658cf79-bv5mj”

这个异常

![image][image 90]

解决： 可以试下重启一下kubelet服务，然后等待一下，应该就可以了

systemctl restart kubelet

###### 1.4.8.2.9 执行令牌（在从节点操作） ######

这里注意的是，一定成初始化成功后面获取复制。

![image][image 91]

<table> 
 <thead> 
  <tr> 
   <th>kubeadm join 192.168.142.138:6443 --token 8yvi2m.466nhemzvyqcxkny --discovery-token-ca-cert-hash sha256:99a5fdcb4af4dd9c2ee40e48ba420d7630676a77a3c0f2445c260921fdcaf83a 如果在两个从节点运行执行令牌报错： [ERROR FileContent–proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1[preflight] If you know what you are doing, you can make a check non-fatal with <code>--ignore-preflight-errors=...</code>To see the stack trace of this error execute with --v=5 or higher 解决方案，两个从节点都执行以下命令：echo “1” &gt;/proc/sys/net/bridge/bridge-nf-call-iptables</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>#1、如果超过2小时忘记了令牌，可以这样做``kubeadm token create --print-join-command #打印新令牌</code>kubeadm token create --ttl 0 --print-join-command #创建个永不过期的令牌</td> 
  </tr> 
 </tbody> 
</table>

![image][image 92]

![image][image 93]

加入令牌完成。

###### 1.4.8.2.10 在主节点查看节点运行的情况 ######

kubectl get nodes

![image][image 94]

###### 1.4.8.2.11 查看所有的pod的运行的情况 ######

kubectl get pods -A

![image][image 95]

![image][image 96]

这里需要注意的是，必须等所有的状态为Runing才能进行下一步操作。

#### 1.4.9 搭建NFS作为默认sc（所有节点） ####

##### 1.4.9.1 配置NFS服务器 #####

yum install -y nfs-utils echo “/nfs/data/ \*(insecure,rw,sync,no\_root\_squash)” > /etc/exports

![image][image 97]

![image][image 98]

##### 1.4.9.2 创建nfs服务器目录（主节点作为服务器，主节点操作） #####

mkdir -p /nfs/data

![image][image 99]

##### 1.4.9.3 启动nfs服务命令 #####

systemctl enable rpcbindsystemctl enable nfs-serversystemctl start rpcbindsystemctl start nfs-serverexportfs -r

![image][image 100]

##### 1.4.9.4 检查配置是否生效 #####

exportfs

![image][image 101]

##### 1.4.9.5 测试Pod直接挂载NFS了（主节点操作） #####

###### 1.4.9.5.1 在opt目录下创建一个nginx.yaml的文件 ######

vim nginx.yaml

###### 1.4.9.5.2 写入以下的命令 ######

apiVersion: v1kind: Podmetadata: name: vol-nfs namespace: defaultspec: volumes: - name: html nfs: path: /nfs/data \#1000G server: 192.168.142.144 \#自己的nfs服务器地址 containers: - name: myapp image: nginx volumeMounts: - name: html mountPath: /usr/share/nginx/html/

这里注意：server: 10.12.0.9 \#自己的nfs服务器地址

![image][image 102]

###### 1.4.9.5.3 应用该yaml的pod服务 ######

kubectl apply -f nginx.yaml

![image][image 103]

###### 1.4.9.5.4 检查该pod是否允许状态 ######

kubectl get pod

![image][image 104]

kubectl get pods -A

![image][image 105]

这里需要注意的是，必须等所有的状态为Runing才能进行下一步操作。

###### 1.4.9.5.5 查看nginx的pod的IP访问地址 ######

kubectl get pod -o wide

![image][image 106]

访问地址: 10.244.107.193

###### 1.4.9.5.6 本地测试访问pod信息 ######

curl 10.244.107.193

![image][image 107]

这里我们看到的是访问的页面是403，我们可以访问具体页面

我们需要在/nfs/data/下新建一个index.html文件。

cd /nfs/data/vim index.html

![image][image 108]

###### 1.4.9.5.7 再次测试访问pod信息 ######

curl 10.244.107.193

![image][image 109]

#### 1.4.10 搭建NFS-Client ####

服务器端防火墙开放111、662、875、892、2049的 tcp / udp 允许，否则远端客户无法连接。

##### 1.4.10.1 安装客户端工具（node节点操作） #####

showmount -e 192.168.142.144

该IP地址是master的IP地址。

![image][image 110]

##### 1.4.10.2 创建同步文件夹 #####

mkdir /root/nfsmountls /root

![image][image 111]

##### 1.4.10.3 将客户端的/root/nfsmount和/nfs/data/做同步（node节点操作） #####

mount -t nfs 192.168.142.144:/nfs/data/ /root/nfsmount

10.12.0.9：是nfs的服务器的地址，这里是master的IP地址。

![image][image 112]

##### 1.4.10.4 查看原来的文件信息（从）机器 #####

cat index.html

![image][image 113]

##### 1.4.10.5 修改原来的文件信息（主）机器 #####

cat index.html

![image][image 114]

##### 1.4.10.6 在另外的机器上查看效果 #####

cat index.html

![image][image 114]

![image][image 115]

![image][image 116]

#### 1.4.11 设置动态供应 ####

![image][image 117]

##### 1.4.11.1 创建provisioner（NFS环境前面已经搭好） #####

<table> 
 <thead> 
  <tr> 
   <th>字段名称</th> 
   <th>填入内容</th> 
   <th>备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>名称</td> 
   <td>nfs-storage</td> 
   <td>自定义存储类名称</td> 
  </tr> 
  <tr> 
   <td>NFS Server</td> 
   <td>192.168.142.147</td> 
   <td>NFS服务的IP地址</td> 
  </tr> 
  <tr> 
   <td>NFS Path</td> 
   <td>/nfs/data</td> 
   <td>NFS服务所共享的路径</td> 
  </tr> 
 </tbody> 
</table>

###### 1.4.11.1.1 先创建授权（master节点操作） ######

vim nfs-rbac.yaml 在opt目录下

新建内容如下：

—apiVersion: v1kind: ServiceAccountmetadata: name: nfs-provisioner—kind: ClusterRoleapiVersion: rbac.authorization.k8s.io/v1metadata: name: nfs-provisioner-runnerrules: - apiGroups: \[""\] resources: \[“persistentvolumes”\] verbs: \[“get”, “list”, “watch”, “create”, “delete”\] - apiGroups: \[""\] resources: \[“persistentvolumeclaims”\] verbs: \[“get”, “list”, “watch”, “update”\] - apiGroups: \[“storage.k8s.io”\] resources: \[“storageclasses”\] verbs: \[“get”, “list”, “watch”\] - apiGroups: \[""\] resources: \[“events”\] verbs: \[“watch”, “create”, “update”, “patch”\] - apiGroups: \[""\] resources: \[“services”, “endpoints”\] verbs: \[“get”,“create”,“list”, “watch”,“update”\] - apiGroups: \[“extensions”\] resources: \[“podsecuritypolicies”\] resourceNames: \[“nfs-provisioner”\] verbs: \[“use”\]—kind: ClusterRoleBindingapiVersion: rbac.authorization.k8s.io/v1metadata: name: run-nfs-provisionersubjects: - kind: ServiceAccount name: nfs-provisioner namespace: defaultroleRef: kind: ClusterRole name: nfs-provisioner-runner apiGroup: rbac.authorization.k8s.io—kind: DeploymentapiVersion: apps/v1metadata: name: nfs-client-provisionerspec: replicas: 1 strategy: type: Recreate selector: matchLabels: app: nfs-client-provisioner template: metadata: labels: app: nfs-client-provisioner spec: serviceAccount: nfs-provisioner containers: - name: nfs-client-provisioner image: lizhenliang/nfs-client-provisioner volumeMounts: - name: nfs-client-root mountPath: /persistentvolumes env: - name: PROVISIONER\_NAME value: storage.pri/nfs - name: NFS\_SERVER value: 192.168.142.144 - name: NFS\_PATH value: /nfs/data volumes: - name: nfs-client-root nfs: server: 192.168.142.144 path: /nfs/data

这个镜像中volume的mountPath默认为/persistentvolumes，不能修改，否则运行时会报错。红色的必须是自己的master的IP地址。

![image][image 118]

###### 1.4.11.1.2 执行创建nfs的yaml文件信息 ######

kubectl apply -f nfs-rbac.yaml

![image][image 119]

###### 1.4.11.1.3 如果发现pod有问题，想删除pod进行重新kubectl apply-f nfs-rbac.yaml的话，可以参照这个博客文档： ######

https://blog.csdn.net/qq\_43542988/article/details/101277263?utm\_medium=distribute.pc\_relevant\_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel\_param&depth\_1-utm\_source=distribute.pc\_relevant\_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel\_param

###### 1.4.11.1.4 查看pod的状态信息 ######

kubectl get pods -A 如果报错：查看报错信息，这个命令：kubectl describe pod xxx -n kube-system

![image][image 120]

###### 1.4.11.1.5 创建storageclass（master节点操作） ######

vim storageclass-nfs.yaml apiVersion: storage.k8s.io/v1kind: StorageClassmetadata: name: storage-nfsprovisioner: storage.pri/nfsreclaimPolicy: Delete

###### 1.4.11.1.6 应用storageclass-nfs.yaml文件 ######

kubectl apply -f storageclass-nfs.yaml

![image][image 121]

###### 1.4.11.1.7 修改默认的驱动 ######

kubectl patch storageclass storage-nfs -p ‘\{“metadata”: \{“annotations”:\{“storageclass.kubernetes.io/is-default-class”:“true”\}\}\}’

![image][image 122]

kubectl get sc

![image][image 123]

#### 1.4.12 安装metrics-server ####

##### 1.4.12.1 准备metrics-server.yaml文件（主节点操作） #####

vim metrics-server.yaml

##### 1.4.12.2 编写以下的内容 #####

![image][image 124]

—apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRolemetadata: name: system:aggregated-metrics-reader labels: rbac.authorization.k8s.io/aggregate-to-view: “true” rbac.authorization.k8s.io/aggregate-to-edit: “true” rbac.authorization.k8s.io/aggregate-to-admin: "true"rules:- apiGroups: \[“metrics.k8s.io”\] resources: \[“pods”, “nodes”\] verbs: \[“get”, “list”, “watch”\]—apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata: name: metrics-server:system:auth-delegatorroleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: system:auth-delegatorsubjects:- kind: ServiceAccount name: metrics-server namespace: kube-system—apiVersion: rbac.authorization.k8s.io/v1kind: RoleBindingmetadata: name: metrics-server-auth-reader namespace: kube-systemroleRef: apiGroup: rbac.authorization.k8s.io kind: Role name: extension-apiserver-authentication-readersubjects:- kind: ServiceAccount name: metrics-server namespace: kube-system—apiVersion: apiregistration.k8s.io/v1beta1kind: APIServicemetadata: name: v1beta1.metrics.k8s.iospec: service: name: metrics-server namespace: kube-system group: metrics.k8s.io version: v1beta1 insecureSkipTLSVerify: true groupPriorityMinimum: 100 versionPriority: 100—apiVersion: v1kind: ServiceAccountmetadata: name: metrics-server namespace: kube-system—apiVersion: apps/v1kind: Deploymentmetadata: name: metrics-server namespace: kube-system labels: k8s-app: metrics-serverspec: selector: matchLabels: k8s-app: metrics-server template: metadata: name: metrics-server labels: k8s-app: metrics-server spec: serviceAccountName: metrics-server volumes: \# mount in tmp so we can safely use from-scratch images and/or read-only containers - name: tmp-dir emptyDir: \{\} containers: - name: metrics-server image: mirrorgooglecontainers/metrics-server-amd64:v0.3.6 imagePullPolicy: IfNotPresent args: - --cert-dir=/tmp - --secure-port=4443 - --kubelet-insecure-tls - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname ports: - name: main-port containerPort: 4443 protocol: TCP securityContext: readOnlyRootFilesystem: true runAsNonRoot: true runAsUser: 1000 volumeMounts: - name: tmp-dir mountPath: /tmp nodeSelector: kubernetes.io/os: linux kubernetes.io/arch: “amd64”—apiVersion: v1kind: Servicemetadata: name: metrics-server namespace: kube-system labels: kubernetes.io/name: “Metrics-server” kubernetes.io/cluster-service: "true"spec: selector: k8s-app: metrics-server ports: - port: 443 protocol: TCP targetPort: main-port—apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRolemetadata: name: system:metrics-serverrules:- apiGroups: - “” resources: - pods - nodes - nodes/stats - namespaces - configmaps verbs: - get - list - watch—apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata: name: system:metrics-serverroleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: system:metrics-serversubjects:- kind: ServiceAccount name: metrics-server namespace: kube-system

##### 1.4.12.3 应用该文件pod #####

kubectl apply -f metrics-server.yaml

![image][image 125]

##### 1.4.12.4 查看部署的应用信息状态 #####

kubectl get pod -A

![image][image 126]

##### 1.4.12.5 查看系统的监控状态 #####

kubectl top nodes 如果运行kubectl top nodes这个命令，爆metrics not available yet 这个命令还没有用，那就稍等一会，就能用了

![image][image 127]

这里，kubesphere3.0的前置环境全部结束。

### 1.5 安装kubesphere v3.0.0 ###

#### 1.5.1 文档地址 ####

https://kubesphere.com.cn/

#### 1.5.2 部署文档地址 ####

https://kubesphere.com.cn/docs/quick-start/minimal-kubesphere-on-k8s/

#### 1.5.3 安装步骤说明（master节点） ####

##### 1.5.3.1 安装集群配置文件 #####

###### 1.5.3.1.1 准备配置文件cluster-configuration.yaml ######

vim cluster-configuration.yaml

###### 1.5.3.1.2 编写以下的内容配置 ######

![image][image 128]

—apiVersion: installer.kubesphere.io/v1alpha1kind: ClusterConfigurationmetadata: name: ks-installer namespace: kubesphere-system labels: version: v3.0.0spec: persistence: storageClass: “” \# If there is not a default StorageClass in your cluster, you need to specify an existing StorageClass here. authentication: jwtSecret: “” \# Keep the jwtSecret consistent with the host cluster. Retrive the jwtSecret by executing “kubectl -n kubesphere-system get cm kubesphere-config -o yaml | grep -v “apiVersion” | grep jwtSecret” on the host cluster. etcd: monitoring: true \# Whether to enable etcd monitoring dashboard installation. You have to create a secret for etcd before you enable it. endpointIps: 10.12.0.9 \# etcd cluster EndpointIps, it can be a bunch of IPs here. port: 2379 \# etcd port tlsEnable: true common: mysqlVolumeSize: 20Gi \# MySQL PVC size. minioVolumeSize: 20Gi \# Minio PVC size. etcdVolumeSize: 20Gi \# etcd PVC size. openldapVolumeSize: 2Gi \# openldap PVC size. redisVolumSize: 2Gi \# Redis PVC size. es: \# Storage backend for logging, events and auditing. \# elasticsearchMasterReplicas: 1 \# total number of master nodes, it’s not allowed to use even number \# elasticsearchDataReplicas: 1 \# total number of data nodes. elasticsearchMasterVolumeSize: 4Gi \# Volume size of Elasticsearch master nodes. elasticsearchDataVolumeSize: 20Gi \# Volume size of Elasticsearch data nodes. logMaxAge: 7 \# Log retention time in built-in Elasticsearch, it is 7 days by default. elkPrefix: logstash \# The string making up index names. The index name will be formatted as ks-<elk\_prefix>-log. console: enableMultiLogin: true \# enable/disable multiple sing on, it allows an account can be used by different users at the same time. port: 30880 alerting: \# (CPU: 0.3 Core, Memory: 300 MiB) Whether to install KubeSphere alerting system. It enables Users to customize alerting policies to send messages to receivers in time with different time intervals and alerting levels to choose from. enabled: true auditing: \# Whether to install KubeSphere audit log system. It provides a security-relevant chronological set of records，recording the sequence of activities happened in platform, initiated by different tenants. enabled: true devops: \# (CPU: 0.47 Core, Memory: 8.6 G) Whether to install KubeSphere DevOps System. It provides out-of-box CI/CD system based on Jenkins, and automated workflow tools including Source-to-Image & Binary-to-Image. enabled: true jenkinsMemoryLim: 2Gi \# Jenkins memory limit. jenkinsMemoryReq: 1500Mi \# Jenkins memory request. jenkinsVolumeSize: 8Gi \# Jenkins volume size. jenkinsJavaOpts\_Xms: 512m \# The following three fields are JVM parameters. jenkinsJavaOpts\_Xmx: 512m jenkinsJavaOpts\_MaxRAM: 2g events: \# Whether to install KubeSphere events system. It provides a graphical web console for Kubernetes Events exporting, filtering and alerting in multi-tenant Kubernetes clusters. enabled: true ruler: enabled: true replicas: 2 logging: \# (CPU: 57 m, Memory: 2.76 G) Whether to install KubeSphere logging system. Flexible logging functions are provided for log query, collection and management in a unified console. Additional log collectors can be added, such as Elasticsearch, Kafka and Fluentd. enabled: true logsidecarReplicas: 2 metrics\_server: \# (CPU: 56 m, Memory: 44.35 MiB) Whether to install metrics-server. IT enables HPA (Horizontal Pod Autoscaler). enabled: false monitoring: \# prometheusReplicas: 1 \# Prometheus replicas are responsible for monitoring different segments of data source and provide high availability as well. prometheusMemoryRequest: 400Mi \# Prometheus request memory. prometheusVolumeSize: 20Gi \# Prometheus PVC size. \# alertmanagerReplicas: 1 \# AlertManager Replicas. multicluster: clusterRole: none \# host | member | none \# You can install a solo cluster, or specify it as the role of host or member cluster. networkpolicy: \# Network policies allow network isolation within the same cluster, which means firewalls can be set up between certain instances (Pods). \# Make sure that the CNI network plugin used by the cluster supports NetworkPolicy. There are a number of CNI network plugins that support NetworkPolicy, including Calico, Cilium, Kube-router, Romana and Weave Net. enabled: true notification: \# Email Notification support for the legacy alerting system, should be enabled/disabled together with the above alerting option. enabled: true openpitrix: \# (2 Core, 3.6 G) Whether to install KubeSphere Application Store. It provides an application store for Helm-based applications, and offer application lifecycle management. enabled: true servicemesh: \# (0.3 Core, 300 MiB) Whether to install KubeSphere Service Mesh (Istio-based). It provides fine-grained traffic management, observability and tracing, and offer visualization for traffic topology. enabled: true

endpointIps: 10.12.0.9：master节点的地址。

###### 1.5.3.1.3 准备配置文件kubesphere-installer.yaml文件 ######

![image][image 129]

###### 1.5.3.1.4 分别执行两个文件 ######

kubectl apply -f kubesphere-installer.yamlkubectl apply -f cluster-configuration.yaml

![image][image 130]

![image][image 131]

###### 1.5.3.1.5 监控安装的日志信息 ######

kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath=’\{.items\[0\].metadata.name\}’) -f

![image][image 132]

![image][image 133]

###### 1.5.3.1.6 查看pod启动状态信息 ######

kubectl get pods -A

![image][image 134]

需要等待漫长的时间。喝杯茶，抽支烟。

#### 1.5.4 访问验证是否安装成功 ####

访问地址：

http://192.168.142.141:30880/login

帐号：admin

密码：P@88w0rd

![image][image 135]

![image][image 136]

###### 1.5.4.1.1.1 解决prometheus一直没能Running的问题，缺少证书 ######

如等待了半个小时左右还是没能Running,特别是monitoring这两个有问题，这个是监控用的

![image][image 137]

那么说明出现问题了，我们来查看一下

kubectl describe pod prometheus-k8s-0 -n kubesphere-monitoring-system

![image][image 138]

说没有这个secret-kube-etcd-client-certs这个证书

看一下kubesphere的整个apiserver

ps -ef|grep kube-apiserver

这个apiserver就会打印整个证书位置

![image][image 139]

说明是有这些证书文件的，但是kubesphere它不知道，它相当于依赖了我们系统里面的

这些证书文件就是在这些位置：

–etcd-cafile=/etc/kubernetes/pki/etcd/ca.crt

–etcd-certfile=/etc/kubernetes/pki/apiserver-etcd-client.crt

–etcd-keyfile=/etc/kubernetes/pki/apiserver-etcd-client.key

解决方案：把这个命令复制到主节点运行即可

kubectl -n kubesphere-monitoring-system create secret generic kube-etcd-client-certs --from-file=etcd-client-ca.crt=/etc/kubernetes/pki/etcd/ca.crt --from-file=etcd-client.crt=/etc/kubernetes/pki/apiserver-etcd-client.crt --from-file=etcd-client.key=/etc/kubernetes/pki/apiserver-etcd-client.key

![image][image 140]

表示这个secret已经创建了

可以用命令查看是否创建成功：

kubectl get secret -A //这个命令的意思就是获取所有系统里面的secret

![image][image 141]

只要证书一创建，那么我们这个prometheus很快就可以了

![image][image 142]

如果还是不行，把这个 prometheus-k8s-0这个pod删掉

命令：kubectl delete pod prometheus-k8s-0 -n kubesphere-monitoring-system

然后让它再拉取一个就可以了

再把 prometheus-k8s-1这个pod删掉，也让它重新拉取

命令：kubectl delete pod prometheus-k8s-1 -n kubesphere-monitoring-system

那么此时，我们可以看到kubesphere的全部已经搞好了，监控也正常了。

![image][image 143]

![image][image 144]

[image]: https://img-blog.csdnimg.cn/img_convert/f0befe50355462bd0fc316f46bb7b317.png
[image 1]: https://img-blog.csdnimg.cn/img_convert/5e5d890a036e3332d88f8b8a4204d408.png
[image 2]: https://img-blog.csdnimg.cn/img_convert/8537914a5529487802610fcf9ca8fa09.png
[image 3]: https://img-blog.csdnimg.cn/img_convert/451e37b7c3d523345e81329dd60898c0.png
[image 4]: https://img-blog.csdnimg.cn/img_convert/d44f7b3deccb73dff8bfb2ec8342fbd9.png
[image 5]: https://img-blog.csdnimg.cn/img_convert/85dad81a04f0bf5d6ddaca31bd594324.png
[image 6]: https://img-blog.csdnimg.cn/img_convert/351daeb0a27f557c55e9af84e2599aad.png
[image 7]: https://img-blog.csdnimg.cn/img_convert/7ca2aceb5fcb1979993ca1f6c1848619.png
[image 8]: https://img-blog.csdnimg.cn/img_convert/cb426c6a16970d819769e84a8a38be68.png
[image 9]: https://img-blog.csdnimg.cn/img_convert/8cb2a885bc5c877aabe279173b1d976a.png
[image 10]: https://img-blog.csdnimg.cn/img_convert/8caa348c5e8537fa97c7762c8a745b72.png
[image 11]: https://img-blog.csdnimg.cn/img_convert/5156371aa7c4082272b22d7fe4ff6ac7.png
[image 12]: https://img-blog.csdnimg.cn/img_convert/380fe2ba7f2244c9d510d2b15138a0de.png
[image 13]: https://img-blog.csdnimg.cn/img_convert/b3733c82bac0c3ba21566b9bc2b75230.png
[image 14]: https://img-blog.csdnimg.cn/img_convert/f11cf174de78727daca46de1a6ac3459.png
[image 15]: https://img-blog.csdnimg.cn/img_convert/1e54e819791d648e4af7b3d1366ac558.png
[image 16]: https://img-blog.csdnimg.cn/img_convert/e79aa8b7a87f4ec2c3a920fe6f8ac69d.png
[image 17]: https://img-blog.csdnimg.cn/img_convert/5359c233c8ecafddc32129e2a7e671c7.png
[image 18]: https://img-blog.csdnimg.cn/img_convert/18f90a402192817e211142d4ed837d85.png
[image 19]: https://img-blog.csdnimg.cn/img_convert/8b188cba070e4e7e8a5a0d5991607046.png
[image 20]: https://img-blog.csdnimg.cn/img_convert/6666987b86fce032a25b44694ad5fe58.png
[image 21]: https://img-blog.csdnimg.cn/img_convert/bccc689f7dc5e10bfe8d09d7869e70ea.png
[image 22]: https://img-blog.csdnimg.cn/img_convert/71643166d6653417b74517a05c210840.png
[image 23]: https://img-blog.csdnimg.cn/img_convert/3fe8d9ffc518614466de7f2b59b6c203.png
[image 24]: https://img-blog.csdnimg.cn/img_convert/cf42995208f3eeff0137ae34022a6026.png
[image 25]: https://img-blog.csdnimg.cn/img_convert/cb67fc52cfd2dc4d96c31f34a7450287.png
[image 26]: https://img-blog.csdnimg.cn/img_convert/6cc6d05fa693d4ee8c21019172e3f699.png
[image 27]: https://img-blog.csdnimg.cn/img_convert/9cb771cd84fd243cccf5c21303920007.png
[image 28]: https://img-blog.csdnimg.cn/img_convert/24c0dea4bfc8e263ba0d4071736abe9c.png
[image 29]: https://img-blog.csdnimg.cn/img_convert/d441d02dd3af983a6024ccda4b57ba5d.png
[image 30]: https://img-blog.csdnimg.cn/img_convert/be4eec3bb9cf991a38ad350d217ff760.png
[image 31]: https://img-blog.csdnimg.cn/img_convert/01194328c418698e0b9d0af1ef61af28.png
[image 32]: https://img-blog.csdnimg.cn/img_convert/55d7a2d2563dd7e50dfc1dcf43af38f2.png
[image 33]: https://img-blog.csdnimg.cn/img_convert/2ae69168a3c37bdf60432521764a44ec.png
[image 34]: https://img-blog.csdnimg.cn/img_convert/3a604eff3ff34d67a879e2663c99d1fe.png
[image 35]: https://img-blog.csdnimg.cn/img_convert/67f3a43c59509af0fd305169d820f4fa.png
[image 36]: https://img-blog.csdnimg.cn/img_convert/ad5b4e78950fba69f15e7bba4abf8483.png
[image 37]: https://img-blog.csdnimg.cn/img_convert/15276a0441cfdb281d1aa5eee2d22df8.png
[image 38]: https://img-blog.csdnimg.cn/img_convert/5993deec47b6ff035db0c9163420b8fe.png
[image 39]: https://img-blog.csdnimg.cn/img_convert/893eb63392f1709e4895863f81b0e144.png
[image 40]: https://img-blog.csdnimg.cn/img_convert/0ad416b55f326d26d88e6b891c0b4851.png
[image 41]: https://img-blog.csdnimg.cn/img_convert/787c0ad7f86c8535efa439bcf7b912ab.png
[image 42]: https://img-blog.csdnimg.cn/img_convert/914fe692a85625c1431bfd80f5e57808.png
[image 43]: https://img-blog.csdnimg.cn/img_convert/8d81dd2a5b66772659b015cf826ceff1.png
[image 44]: https://img-blog.csdnimg.cn/img_convert/747f0694765ee47c8612c50dfb72af4c.png
[image 45]: https://img-blog.csdnimg.cn/img_convert/df6e5e4cb558e5fbac9aa207cdc4fa0f.png
[image 46]: https://img-blog.csdnimg.cn/img_convert/b450a74bb2ab5954c3ab21b7132f8b44.png
[image 47]: https://img-blog.csdnimg.cn/img_convert/19e122954fe1c1ae7edfbeee74e93fea.png
[image 48]: https://img-blog.csdnimg.cn/img_convert/fc37566ad34e3a9df5bc11b435f99b02.png
[image 49]: https://img-blog.csdnimg.cn/img_convert/97defec01b8d39e0c79d32d756b3d4ae.png
[image 50]: https://img-blog.csdnimg.cn/img_convert/7dddbd0d5e549a424c9e1c64bb25b646.png
[image 51]: https://img-blog.csdnimg.cn/img_convert/04766330cfee1d9e11fc76676d74d224.png
[image 52]: https://img-blog.csdnimg.cn/img_convert/512205406e98ec41b9076f582c20f995.png
[image 53]: https://img-blog.csdnimg.cn/img_convert/cb1fb4d7eff2b1a1f956a9abe1c94ab7.png
[image 54]: https://img-blog.csdnimg.cn/img_convert/ca2e5b7374671ea027c729c776804ebb.png
[image 55]: https://img-blog.csdnimg.cn/img_convert/3e8b18c4ecb7fa8fdfb41c9b1aec25f3.png
[image 56]: https://img-blog.csdnimg.cn/img_convert/c8d8841cbb39bbdc5fe0e4b32849ca2b.png
[image 57]: https://img-blog.csdnimg.cn/img_convert/5a33751a7c365f00d4b8ab35fd575fba.png
[image 58]: https://img-blog.csdnimg.cn/img_convert/d392b5945c0ab33f767973d5e15e074c.png
[image 59]: https://img-blog.csdnimg.cn/img_convert/5570e56f40fce3984db58ac4bc9ab1cd.png
[image 60]: https://img-blog.csdnimg.cn/img_convert/bbbea355e65410b6961d6c29a75e2104.png
[image 61]: https://img-blog.csdnimg.cn/img_convert/e5f9678fe916e77394a7a2d267f59b4f.png
[image 62]: https://img-blog.csdnimg.cn/img_convert/98dd5b26c3289a49e7d982f59cc31bb6.png
[image 63]: https://img-blog.csdnimg.cn/img_convert/86d91b29236272de8e5c34585016648e.png
[image 64]: https://img-blog.csdnimg.cn/img_convert/847958e68b234a93560b5f66f837e189.png
[image 65]: https://img-blog.csdnimg.cn/img_convert/cedef7a3b5b79ca1a0ad5685be0b76fe.png
[image 66]: https://img-blog.csdnimg.cn/img_convert/ac274f4cc609dc1c5df75bb3a64f2629.png
[image 67]: https://img-blog.csdnimg.cn/img_convert/bdcdd26a1f6d5cf09e1eb2567c1499e4.png
[image 68]: https://img-blog.csdnimg.cn/img_convert/b2637ef0525b9143acfcdf4d12ada5c4.png
[image 69]: https://img-blog.csdnimg.cn/img_convert/976683b1ca16252ab56169023c8bf875.png
[image 70]: https://img-blog.csdnimg.cn/img_convert/1dfbf4745499e0b9c65370aacfad5ddb.png
[image 71]: https://img-blog.csdnimg.cn/img_convert/670a3ecaf3137eb5c9c19123ebc4b12e.png
[image 72]: https://img-blog.csdnimg.cn/img_convert/3b1ee10ac42478f988c5851fcf2d029c.png
[image 73]: https://img-blog.csdnimg.cn/img_convert/02b422188d8f76013893785aa49ab0d7.png
[image 74]: https://img-blog.csdnimg.cn/img_convert/05cfce42fae204b2db38685c237900c0.png
[image 75]: https://img-blog.csdnimg.cn/img_convert/b2fae74ed463172bb3accf84ee065325.png
[image 76]: https://img-blog.csdnimg.cn/img_convert/2b49850033e5a128172ccf837dbf8ec6.png
[image 77]: https://img-blog.csdnimg.cn/img_convert/5a4814591947401d238d03ae6ffb1d72.png
[image 78]: https://img-blog.csdnimg.cn/img_convert/c33e1da25b5a6afc2cb2f88576a26c7c.png
[image 79]: https://img-blog.csdnimg.cn/img_convert/abb298d76c648c9c271afe103599ea01.png
[image 80]: https://img-blog.csdnimg.cn/img_convert/6f87ed56aee8ce592f155a534e045a51.png
[image 81]: https://img-blog.csdnimg.cn/img_convert/08d81ea1600d8bde1c94641dc1d74255.png
[image 82]: https://img-blog.csdnimg.cn/img_convert/d04d18713547545a64746534dcc1d9e9.png
[image 83]: https://img-blog.csdnimg.cn/img_convert/ccbc93fd6610c25d56c8a69844993900.png
[image 84]: https://img-blog.csdnimg.cn/img_convert/b0214fd2a43c0f00e277c2f379a12b09.png
[image 85]: https://img-blog.csdnimg.cn/img_convert/be3a32e1c3888b6ddd5c6d774ed92970.png
[image 86]: https://img-blog.csdnimg.cn/img_convert/0d0fb79e6c4d78d4aca309ac3c2d7eab.png
[image 87]: https://img-blog.csdnimg.cn/img_convert/e2d431734848f60a871a86c957d878b7.png
[image 88]: https://img-blog.csdnimg.cn/img_convert/4a90d3577318f86a931ce799b88e3d91.png
[image 89]: https://img-blog.csdnimg.cn/img_convert/a70909ad733d79e3d9038923ccd88bb8.png
[image 90]: https://img-blog.csdnimg.cn/img_convert/84e1a29a4be1c9c9877e0a75265faf51.png
[image 91]: https://img-blog.csdnimg.cn/img_convert/3d7ed03ef7545b2650dac81395ec36bc.png
[image 92]: https://img-blog.csdnimg.cn/img_convert/d7f677c2153683d262b27dc6446f54ad.png
[image 93]: https://img-blog.csdnimg.cn/img_convert/6fb08498035310076ae82229c1b8ee2a.png
[image 94]: https://img-blog.csdnimg.cn/img_convert/f554984ef631b40bc57b4363645a0779.png
[image 95]: https://img-blog.csdnimg.cn/img_convert/e69f4cc9a410b727d406f4e188265b1f.png
[image 96]: https://img-blog.csdnimg.cn/img_convert/d77ec57e4744941e193ef0d547e40b6d.png
[image 97]: https://img-blog.csdnimg.cn/img_convert/e3c89142e99c1ab965026191ca43b632.png
[image 98]: https://img-blog.csdnimg.cn/img_convert/05dbf50e7939b88e4111bf8866b7f541.png
[image 99]: https://img-blog.csdnimg.cn/img_convert/0c257827c43227e10b246d632f40446a.png
[image 100]: https://img-blog.csdnimg.cn/img_convert/710524a02ee304081b0b88902176a2a3.png
[image 101]: https://img-blog.csdnimg.cn/img_convert/9fa1f38db170ffc86aeb41fd407ca0b2.png
[image 102]: https://img-blog.csdnimg.cn/img_convert/9ee8722102f433a004a4407f695138b1.png
[image 103]: https://img-blog.csdnimg.cn/img_convert/d27c569c77c7db684dfa0dc8ae6bf760.png
[image 104]: https://img-blog.csdnimg.cn/img_convert/84dca15bd00aa50f7f1e6fbfb349c038.png
[image 105]: https://img-blog.csdnimg.cn/img_convert/3921917d8b28842e540d47cf0abdaad7.png
[image 106]: https://img-blog.csdnimg.cn/img_convert/f95e78747561a09eefef516d49fda59f.png
[image 107]: https://img-blog.csdnimg.cn/img_convert/1b281005405f5a9e8a1f179ef443d17a.png
[image 108]: https://img-blog.csdnimg.cn/img_convert/6ea564fc93bc7ab51ff00b05e82e2271.png
[image 109]: https://img-blog.csdnimg.cn/img_convert/0d2988ea496b68b3653d42601da53953.png
[image 110]: https://img-blog.csdnimg.cn/img_convert/1cbf7f2a37c56d8faa6586dcd2fcbe0c.png
[image 111]: https://img-blog.csdnimg.cn/img_convert/1ec8ecb39ceae3a9bf685e048626963f.png
[image 112]: https://img-blog.csdnimg.cn/img_convert/ddc0eb662a19f8fb88fab13b41158dfd.png
[image 113]: https://img-blog.csdnimg.cn/img_convert/de675e0bdb85082e3fed9b721a0600e6.png
[image 114]: https://img-blog.csdnimg.cn/img_convert/30ceae86913356a810a382a5e017af17.png
[image 115]: https://img-blog.csdnimg.cn/img_convert/f3cad2d62c91e550e38c07601f9831d9.png
[image 116]: https://img-blog.csdnimg.cn/img_convert/f287380e8d4827fc531309f4d23b1347.png
[image 117]: https://img-blog.csdnimg.cn/img_convert/37a811005521c9b37f718698fe38f56c.png
[image 118]: https://img-blog.csdnimg.cn/img_convert/42f4300bc9d02f85c75cf707f71fd616.png
[image 119]: https://img-blog.csdnimg.cn/img_convert/3773781ca3d6c451006ca3a8ab8c121a.png
[image 120]: https://img-blog.csdnimg.cn/img_convert/d7c576b0199bd81a932bc1cb26eb2ee3.png
[image 121]: https://img-blog.csdnimg.cn/img_convert/9d77e886ff89fbd45e33d57858cb1209.png
[image 122]: https://img-blog.csdnimg.cn/img_convert/6579945c66be3da40360223b0e42c691.png
[image 123]: https://img-blog.csdnimg.cn/img_convert/1b2f8cc5dc22c4c56f2f53e80d22cc1e.png
[image 124]: https://img-blog.csdnimg.cn/img_convert/061889e5f4c35c29e9dee37bf22766a9.png
[image 125]: https://img-blog.csdnimg.cn/img_convert/21388f68bfbf49a249dc044c1e04b189.png
[image 126]: https://img-blog.csdnimg.cn/img_convert/9667aaf705ab556933bf5aef3f21202a.png
[image 127]: https://img-blog.csdnimg.cn/img_convert/fc3d6e5200b7559d83e85c40f75113f9.png
[image 128]: https://img-blog.csdnimg.cn/img_convert/7176cf73a5a8b7fd6478f9174cd3e53a.png
[image 129]: https://img-blog.csdnimg.cn/img_convert/d598647bc0410345477046696cbf1c52.png
[image 130]: https://img-blog.csdnimg.cn/img_convert/49de38498f5420b74d629dc11afcc071.png
[image 131]: https://img-blog.csdnimg.cn/img_convert/591d9aeb5b5a4e8a884246976b25bcd7.png
[image 132]: https://img-blog.csdnimg.cn/img_convert/514f9b16d0a735deb0d4822bd0ddb990.png
[image 133]: https://img-blog.csdnimg.cn/img_convert/9c4c94022b3ba6073ca18c31199a14e3.png
[image 134]: https://img-blog.csdnimg.cn/img_convert/4b5e6869a277a0356f0d44d8c3422995.png
[image 135]: https://img-blog.csdnimg.cn/img_convert/c533969648dd66984002bcf9370e83f6.png
[image 136]: https://img-blog.csdnimg.cn/img_convert/561518c7258aee1985cafab2aed92b77.png
[image 137]: https://img-blog.csdnimg.cn/img_convert/64a50855b0dfd02658c39628977d4f07.png
[image 138]: https://img-blog.csdnimg.cn/img_convert/d6d20ac90d0d3d567623529017e3685c.png
[image 139]: https://img-blog.csdnimg.cn/img_convert/4cda126e1b5fe51a2f5091437480cdd1.png
[image 140]: https://img-blog.csdnimg.cn/img_convert/703e0153e52b278dc74002aaa5a79b87.png
[image 141]: https://img-blog.csdnimg.cn/img_convert/6c56f1874176c87078985f534d164a40.png
[image 142]: https://img-blog.csdnimg.cn/img_convert/b04cfeb16a8c2df90ef5b24ec4c60217.png
[image 143]: https://img-blog.csdnimg.cn/img_convert/50985402512e204de0bfee41cfd14e23.png
[image 144]: https://img-blog.csdnimg.cn/img_convert/35b1ffcfff67249c38df8443cbccf7f8.png