CentOS 7 部署 Ceph 分布式存储架构

深碍√TFBOYSˉ_ 2022-10-04 15:57 468阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70][]

# Ceph 概述 #

随着 OpenStack 日渐成为开源云计算的标准软件栈，Ceph 也已经成为 OpenStack 的首选后端存储。

Ceph 是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。

ceph 官方文档 http://docs.ceph.org.cn/  
        ceph 中文开源社区 http://ceph.org.cn/

Ceph 是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然的被用做云计算框架 openstack 或 cloudstack 整个存储后端。当然也可以单独作为存储，例如部署一套集群作为对象存储、SAN 存储、NAS 存储等。

# Ceph 相比其它分布式存储有哪些优点？ #

*  **统一存储**
 *  虽然 ceph 底层是一个分布式文件系统，但由于在上层开发了支持对象和块的接口。所以在开源存储软件中，能够一统江湖。至于能不能千秋万代，就不知了。
 *  
 *  **高扩展性**
 *  扩容方便、容量大。能够管理上千台服务器、EB 级的容量。
 *  
 *  **可靠性强**
 *  支持多份强一致性副本，EC。副本能够垮主机、机架、机房、数据中心存放。所以安全可靠。存储节点可以自动管理、自动修复。无单点故障，容错性强。
 *  
 *  **高性能**
 *  因为是多个副本，因此在读写操作时候能够做到高度并行化。理论上，节点越多，整个集群的 IOPS和吞吐量越高。另外一点 ceph 客户端读写数据直接与存储设备(osd) 交互。

#  Ceph 各组件介绍 #

*  **Ceph OSDs:** Ceph OSD 守护进程（Ceph OSD）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他 OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有 2 个副本时，至少需要 2 个 OSD 守护进程，集群才能达到 active+clean 状态（ Ceph 默认有 3 个副本，但你可以调整副本数）。
 *  
 *  **Monitors:** Ceph Monitor 维护着展示集群状态的各种图表，包括监视器图、OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在 Monitors 、 OSD 和 PG 上的每一次状态变更的历史信息（称为 epoch ）。
 *  
 *  **MDSs:** Ceph 元数据服务器（MDS）为 Ceph 文件系统存储元数据（也就是说，Ceph 块设备和Ceph 对象存储不使用 MDS ）。元数据服务器使得 POSIX 文件系统的用户们，可以在不对 Ceph 存储集群造成负担的前提下，执行诸如 ls、find 等基本命令。

--------------------

*  ceph 集群部署实验      主机准备 （禁用 selinux, 关闭防火墙）
 *  系统统一使用 CentOS 7.6
 *  mon      192.168.2.16       \# admin,osd, mon 作为管理和监控节点
 *  ceph1   192.168.2.13       osd,mds
 *  ceph2   192.168.2.14       osd,mds
 *  client     192.168.2.15      ceph-fuse
 *  
 *  192.168.2.16  作管理. **osd. mon 节点**
 *  2.13 和 2.14   作 **osd mds**
 *  2.15                作客户端
 *  
 *  **2.16 、2.13、 2.14三台服务器各增加一块硬盘  /dev/sdb , 创建目录并挂载到   /var/local/osd\{0,1,2\}**

![20210712035305800.png][]

![202107120355232.png][]

![20210712035546800.png][]

*   **不重启添加硬盘**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 3][]

*  ### 依次格式化、挂载到对应的目录 ###
 *  **mkfs.xfs /dev/sdb  
    mkdir /var/local/osd\{0,1,2\}  
    mount /dev/sdb /var/local/osd0/**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 4][]

*  2.13

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 5][]

*  2.14

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 6][]

*   **编辑 hosts 文件（所有节点需要操作）：**

规范系统主机名添加 hosts 文件实现集群主机名与主机名之间相互能够解析，host 文件添加主机名不要使用 fqdn 方式

*  可用 hostnamectl set-hostname \[name\] 设置  
    **分别打开各节点的/etc/hosts 文件，加入这四个节点 ip 与名称的对应关系  
    vim /etc/hosts**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 8][]

*  **SSH 免密码登录（所有节点需要操作）**

**在管理节点使用 ssh-keygen 生成 ssh keys 发布到各节点**

![20210711093533429.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 9][]

*  #  **同步时间** #

**使得 4 台主机时间必须保持一致，**使用阿里云的 NTP 服务，把  4 台主机时间保持一致（主机需要可以访问互联网）

yum -y install ntp

**ntpdate ntp1.aliyun.com && hwclock -w**

![20210712040542179.png][]

![20210712040559208.png][]

*   扩展阿里云 NTP 可用的服务：

ntp1.aliyun.com  
ntp2.aliyun.com  
ntp3.aliyun.com  
ntp4.aliyun.com  
ntp5.aliyun.com  
ntp6.aliyun.com  
ntp7.aliyun.com

--------------------

*  # **管理节点  192.168.2.16  安装 ceph-deploy 工具   第一步：增加 yum 配置文件（各节点都要配置 ceph 源）**  #
 *  vim /etc/yum.repos.d/ceph.repo
    
    \[Ceph\]  
    name=Ceph packages for $basearch  
    baseurl=http://download.ceph.com/rpm-jewel/el7/$basearch  
    enabled=1  
    gpgcheck=1  
    type=rpm-md  
    gpgkey=https://download.ceph.com/keys/release.asc  
    priority=1
    
    \[Ceph-noarch\]  
    name=Ceph noarch packages  
    baseurl=http://download.ceph.com/rpm-jewel/el7/noarch  
    enabled=1  
    gpgcheck=1  
    type=rpm-md  
    gpgkey=https://download.ceph.com/keys/release.asc  
    priority=1
    
    \[ceph-source\]  
    name=Ceph source packages  
    baseurl=http://download.ceph.com/rpm-jewel/el7/SRPMS  
    enabled=1  
    gpgcheck=1  
    type=rpm-md  
    gpgkey=https://download.ceph.com/keys/release.asc  
    priority=1
 *  yum clean all
 *  yum makecache
 *  yum repolist all

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 10][]

*  **第二步：更新软件源并安装 ceph-deploy 管理工具**
 *  **yum -y install ceph-deploy**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 11][]

*  **创建 monitor 服务**
 *  **mkdir /etc/ceph && cd /etc/ceph**
 *  **ceph-deploy new \[主机名\] ... .... ....**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 12][]

*  **Ceph 配置文件(ceph.conf )、一个 monitor 密钥环( ceph.mon.keyring )和一个日志文件(ceph-deploy-ceph.log)**
 *  修改副本数  
    vim ceph.conf     
 *  **\#配置文件的默认副本数从 3 改成 2**，这样只有两个 osd 也能达到 active+clean 状态  
    ceph.conf   
    \[global\]  
    fsid = cf74f445-0b02-49ab-b966-ce6c745d4c3f  
    mon\_initial\_members = mon  
    mon\_host = 192.168.2.16  
    auth\_cluster\_required = cephx  
    auth\_service\_required = cephx  
    auth\_client\_required = cephx
    
    **osd\_pool\_default\_size = 2  
    mon clock drift allowed = 0.500  
    mon clock drift warn backoff = 10  
    mon\_max\_pg\_per\_osd = 1000**
 *  ### 安装 ceph，在所有节点上安装： ###
 *  
 *  ceph-deploy install \[主机名\]
 *  ceph-deploy install ceph1
 *  ceph-deploy install ceph2
 *  ceph-deploy install c7\_2\_15
 *  (如果网络源安装失败，手工安装  yum -y install ceph-release 再 yum -y install ceph ceph-radosgw)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 13][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 14][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 15][]

![2021071110235635.png][]

![20210711102935479.png][]

![2021071110300187.png][]

*  ### **安装 ceph monitor** ###
 *  ### **ceph-deploy mon create mon** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 16][]

*  ### 收集节点的 keyring 文件 ###
 *  ### ceph-deploy gatherkeys mon ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 17][]

--------------------

*  ###  部署 osd 服务 ###

### 添加 osd 节点 (所有 osd 节点执行)   实验准备时已经创建目录/var/local/osd\{id\}     ###

*  创建 osd
 *  **chown -R ceph. /var/local/      在每个节点都要执行**
 *  **然后在 deploy  2.16 端**
 *  ceph-deploy osd prepare mon:/var/local/osd0
 *  ceph-deploy osd prepare ceph1:/var/local/osd1
 *  ceph-deploy osd prepare ceph2:/var/local/osd2

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 18][]

![20210711105022717.png][]

![20210711105050730.png][]

*  ### 激活 osd  ###
 *  **chown -R ceph. /var/local/      在每个节点都要执行**  
    ceph-deploy osd activate mon:/var/local/osd0
 *  ceph-deploy osd activate ceph1:/var/local/osd1
 *  ceph-deploy osd activate ceph2:/var/local/osd2

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 19][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 20][]

![20210711105242441.png][]

*  ### 查看状态：   ceph-deploy osd list mon ceph1 ceph2 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 21][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 22][]

*  ###  统一配置 ###

用 ceph-deploy 把配置文件和 admin 密钥拷贝到所有节点，这样每次执行 Ceph 命令行时就无需指定 monitor 地址和 ceph.client.admin.keyring 了

*  **ceph-deploy admin mon ceph1 ceph2 c7\_2\_15**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 23][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 24][]

![20210711110120180.png][]

*  ### 各节点修改 ceph.client.admin.keyring 权限： ###
 *  ### chmod +r /etc/ceph/ceph.client.admin.keyring ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 25][]

![20210712042517345.png][]

*  ### **查看 osd 状态** ###
 *  ### **ceph health \#或 ceph -s** ###

![20210712042624246.png][]

*  # 状态必须为 active，如果为 createing，检查上面的配置和防火墙 #
 *  # **fsmap e11: 1/1/1 up \{0=ceph2=up:active\}, 1 up:standby ** #
 *  **部署 mds 服务  
    ceph-deploy mds create ceph1 ceph2       \#部署 2台 MDS   
    ceph mds stat  
    e11: 1/1/1 up \{0=ceph2=up:active\}, 1 up:standby         \#查看状态    1 up :standby**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 26][]

*  **创建 ceph 文件系统       **
 *  **查看 文件系统 ****ceph fs ls  **

*  **创建存储池  
    ceph osd pool create cephfs\_data 128  
    ceph osd pool create cephfs\_metadata 128**

![20210711111025235.png][]

*  **其中： 128 **
 *  关于创建存储池
 *  **确定 pg\_num 取值是强制性的，因为不能自动计算。下面是几个常用的值：**
 *  **\*少于 5 个 OSD 时可把 pg\_num 设置为 128**
 *  **\*OSD 数量在 5 到 10 个时，可把 pg\_num 设置为 512**
 *  **\*OSD 数量在 10 到 50 个时，可把 pg\_num 设置为 4096**
 *  **\*OSD 数量大于 50 时，你得理解权衡方法、以及如何自己计算 pg\_num 取值**
 *  **\*自己计算 pg\_num 取值时可借助 pgcalc 工具**
 *  随着 OSD 数量的增加，正确的 pg\_num 取值变得更加重要，因为它显著地影响着集群的行为、以及出错时的数据持久性（即灾难性事件导致数据丢失的概率）。
 *  
 *  ### **创建文件系统，创建好存储池后，可以用 ceph fs new 命令创建文件系统了** ###
 *  **ceph fs new 128 cephfs\_metadata cephfs\_data **

![20210711111232956.png][]

*  **其中：<fs\_name> = cephfs 可自定义**
 *  ceph fs ls              \#查看创建后的 cephfs  
    ceph mds stat       \#查看 mds 节点状态

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 27][]

--------------------

*  #  **不同挂载方式** #

内核驱动挂载 Ceph 文件系统

*  存储密钥（如果没有在管理节点使用 ceph-deploy 拷贝 ceph 配置文件）
 *  ### 在 192.168.2.15 上 ###
 *  cat /etc/ceph/ceph.client.admin.keyring  
    \[client.admin\]  
        key = AQDC/OpgYUvtNxAAJvYjkhykTHYWIROhlYuq0Q==
 *  将 key 对应的值复制下来保存到文件：/etc/ceph/admin.secret 中。  
    cat /etc/ceph/admin.secret   
    AQDC/OpgYUvtNxAAJvYjkhykTHYWIROhlYuq0Q==

![20210712043353117.png][]

*  ### 在client 端挂载使用 ###
 *  yum -y install ceph ceph-radosgw

mount -t ceph mon:6789:/ /opt/ceph/ -o name=admin,secretfile=/etc/ceph/admin.secret

mount -t ceph 192.168.2.16:6789:/ /opt/ceph/ -o name=admin,secretfile=/etc/ceph/admin.secret

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 28][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 29][]

*  ### 用户控件挂载 Ceph 文件系统 ###
 *  ### 安装 ceph-fuse ###
 *  ### yum install -y ceph-fuse ###
 *  ### ceph-fuse -m 192.168.2.16:6789 /opt/ceph/ ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 30][]

*  写入文件测试

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 31][]

*  取消挂载后重新挂载，看刚才创建的文件是否能正常显示、读取
 *  fusermount -zu /opt/ceph

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 32][]

*  重新挂载，读取文件

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 33][]

*  ### 如果报错则前面统一配置时未将配置文件以及密钥文件拷贝至客户端节点  ###
 *  ### 如果出现  “nonempty ” 该提示表示需要使用 -o nonempty 进行挂载 ###
 *  ### 原因是 /opt 目录不空 ###

--------------------

*  清理机器上的 ceph 相关配置：
 *  停止所有进程： stop ceph-all
 *  卸载所有 ceph 程序：ceph-deploy uninstall \[\{ceph-node\}\]
 *  删除 ceph 相关的安装包：ceph-deploy purge \{ceph-node\} \[\{ceph-data\}\]
 *  删除 ceph 相关的配置：ceph-deploy purgedata \{ceph-node\} \[\{ceph-data\}\]
 *  删除 key：ceph-deploy forgetkeys
 *  卸载 ceph-deploy 管理：
 *  yum -y remove ceph-deploy

--------------------

*  # Ceph 配置 dashboard Web 监控界面   安装 mgr-dashboard 插件（ceph 节点都要安装） #
 *  cat /etc/yum.repos.d/ceph.repo  
    \[ceph\]  
    name=ceph  
    baseurl=http://download.ceph.com/rpm-nautilus/el7/x86\_64/  
    gpgcheck=0  
    priority=1  
    enable=1  
    \[ceph-noarch\]  
    name=Ceph noarch packages  
    baseurl=http://download.ceph.com/rpm-nautilus/el7/noarch/  
    enabled=1  
    gpgcheck=1  
    type=rpm-md  
    gpgkey=https://download.ceph.com/keys/release.asc  
    \[ceph-source\]  
    name=Ceph source packages  
    baseurl=http://download.ceph.com/rpm-nautilus/el7/SRPMS/  
    gpgcheck=0  
    priority=2  
    enable=1
 *  yum install -y ceph-mgr-dashboard  
    启用 dashboard 插件  
    ceph mgr module enable dashboard
 *  创建自签名证书  
    ceph dashboard create-self-signed-cert
 *  echo 123456 > p.txt
 *  ceph dashboard set-login-credentials gf -i p.txt
 *  ceph mgr services

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 34][]

*  [https://192.168.2.13:8443][https_192.168.2.13_8443]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 35][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 36][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 37][]

*  测试 拷贝一些文件

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 38][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 39][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 40][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 41][]

*  **ceph -s 出现 mon is allowing insecure global\_id reclaim  或  mons are allowing insecure global\_id reclaim  
    或 web 界面上，出现警告：mon is allowing insecure global\_id reclaim  
    解决办法：禁用不安全模式！  
    如果使用过程中，执行了一次没有效果的话，需先将其设置为 true，然后再次设置为 false  
    ceph config set mon auth\_allow\_insecure\_global\_id\_reclaim true  
    ceph config set mon auth\_allow\_insecure\_global\_id\_reclaim false**

--------------------

*  升级内核
 *  rpm --import [https://www.elrepo.org/RPM-GPG-KEY-elrepo.org][https_www.elrepo.org_RPM-GPG-KEY-elrepo.org] &&yum install [https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm][https_www.elrepo.org_elrepo-release-7.el7.elrepo.noarch.rpm] -y &&yum --enablerepo=elrepo-kernel install kernel-ml -y
    
    grub2-set-default 0 && rpm -qa | grep kernel
    
    yum -y remove kernel-3.10.0-957.el7 kernel-tools-3.10.0-957.el7 kernel-tools-libs-3.10.0-957.el7
 *  同步时间
    
    ntpdate ntp1.aliyun.com && hwclock -w
    
    安装 ceph-deploy 管理工具
    
    yum install python-setuptools ceph-deploy -y
    
    mkdir /etc/ceph && cd /etc/ceph
    
    ceph-deploy new mon1 ceph1 ceph2
    
    vim /etc/ceph/ceph.conf
    
    **osd\_pool\_default\_size = 2**  
    **mon clock drift allowed = 0.500  
    mon clock drift warn backoff = 10  
    mon\_max\_pg\_per\_osd = 1000**
 *  安装ceph 
    
    yum -y install ceph ceph-radosgw

*  创建 mon

ceph-deploy mon create-initial

ceph-deploy admin mon1 ceph1 ceph2 ceph\_fuse

ceph-deploy osd create --data /dev/sdb mon1

ceph-deploy osd create --data /dev/sdb ceph1

ceph-deploy osd create --data /dev/sdb ceph2

ceph-deploy osd list mon1 ceph1 ceph2

*  创建 mds

ceph-deploy mds create mon1 ceph1 ceph2

查看 ceph 当前文件系统

ceph fs ls

*  创建存储池

ceph osd pool create cephfs\_data 128

ceph osd pool create cephfs\_metadata 128

*  创建文件系统

ceph fs new **gftest** cephfs\_metadata cephfs\_data

ceph mds stat                       \#查看 mds 节点状态

ceph-deploy mgr create mon1 ceph1 ceph2

*  查看集群状态

ceph -s

error:mon is allowing insecure global\_id reclaim

*  禁用不安全模式

ceph config set mon auth\_allow\_insecure\_global\_id\_reclaim true

ceph config set mon auth\_allow\_insecure\_global\_id\_reclaim false

*  挂载

cat /etc/ceph/ceph.client.admin.keyring

vim /etc/ceph/admin.secret

mount -t ceph 192.168.2.13:6789:/ /opt/ceph -o name=admin,secretfile=/etc/ceph/admin.secret

umount /opt/ceph

ceph-fuse -m 192.168.2.13:6789 /opt/ceph

*  如果想清理机器上的 ceph 相关配置：

停止所有进程： stop ceph-all

卸载所有 ceph 程序：ceph-deploy uninstall \[\{ceph-node\}\]

删除 ceph 相关的安装包：ceph-deploy purge \{ceph-node\} \[\{ceph-data\}\]

删除 ceph 相关的配置：ceph-deploy purgedata \{ceph-node\} \[\{ceph-data\}\]

删除 key：ceph-deploy forgetkeys

卸载 ceph-deploy 管理：

yum -y remove ceph-deploy

Ceph 配置 dashboard Web 监控界面

yum install -y ceph-mgr-dashboard

启用 dashboard 插件

ceph mgr module enable dashboard

创建自签名证书

ceph dashboard create-self-signed-cert

echo 123456 > p.txt

ceph dashboard set-login-credentials gf -i p.txt

--------------------

*  # 创建多 monitors #
 *  
 *  192.168.2.3    ceph1  admin monitors osd
 *  192.168.2.4    ceph1  osd  mds monitors
 *  192.168.2.5    ceph1  osd  mds monitors
 *  192.168.2.6    ceph1  osd  mds 
 *  
 *   vim /etc/yum.repos.d/ceph.repo  
    \[Ceph\]  
    name=Ceph packages for $basearch  
    baseurl=http://download.ceph.com/rpm-jewel/el7/$basearch  
    enabled=1  
    gpgcheck=1  
    type=rpm-md  
    gpgkey=https://download.ceph.com/keys/release.asc  
    priority=1
    
    \[Ceph-noarch\]  
    name=Ceph noarch packages  
    baseurl=http://download.ceph.com/rpm-jewel/el7/noarch  
    enabled=1  
    gpgcheck=1  
    type=rpm-md  
    gpgkey=https://download.ceph.com/keys/release.asc  
    priority=1
    
    \[Ceph-source\]  
    name=Ceph source packages  
    baseurl=http://download.ceph.com/rpm-jewel/el7/SRPMS  
    enabled=1  
    gpgcheck=1  
    type=rpm-md  
    gpgkey=https://download.ceph.com/keys/release.asc  
    priority=1
    
    \[ceph\]  
    name=ceph  
    baseurl=http://download.ceph.com/rpm-nautilus/el7/x86\_64/  
    gpgcheck=0  
    priority=1  
    enable=1  
    \[ceph-noarch\]  
    name=Ceph noarch packages  
    baseurl=http://download.ceph.com/rpm-nautilus/el7/noarch/  
    enabled=1  
    gpgcheck=1  
    type=rpm-md  
    gpgkey=https://download.ceph.com/keys/release.asc  
    \[ceph-source\]  
    name=Ceph source packages  
    baseurl=http://download.ceph.com/rpm-nautilus/el7/SRPMS/  
    gpgcheck=0  
    priority=2  
    enable=1
 *  
 *  yum install python-setuptools ceph-deploy -y
 *  mkdir /etc/ceph && cd /etc/ceph
 *  
 *  ceph-deploy new ceph1 ceph2 ceph3
 *  vim /etc/ceph/ceph.conf
    
    **osd\_pool\_default\_size = 2**  
    **mon clock drift allowed = 0.500  
    mon clock drift warn backoff = 10  
    mon\_max\_pg\_per\_osd = 1000**
 *  安装 ceph
 *  ceph-deploy install ceph1 ceph2 ceph3 ceph4
 *  
 *  创建 3 个 monitors 
 *  ceph-deploy mon create ceph1 ceph2 ceph3
 *  
 *  收集 key
 *  ceph-deploy gatherkeys ceph1
 *  
 *  创建 osd
 *  ceph-deploy osd create --zap-disk ceph1:/dev/sdc
 *  ceph-deploy osd create --zap-disk ceph2:/dev/sdc
 *  ceph-deploy osd create --zap-disk ceph3:/dev/sdc
 *  ceph-deploy osd create --zap-disk ceph4:/dev/sdc
 *  
 *  创建 mds
 *  ceph-deploy mds create ceph2 ceph3 ceph4
 *  创建存储池
 *  ceph osd pool create cephfs\_data 128  
    ceph osd pool create cephfs\_metadata 128
 *  创建文件系统
 *  ceph fs new **gftest** cephfs\_metadata cephfs\_data
    
    ceph mds stat                       \#查看 mds 节点状态

*  ceph -s
 *  
 *  挂载

*  cat /etc/yum.repos.d/ceph.repo 
    
    \[Ceph\]  
    name=Ceph packages for $basearch  
    baseurl=http://download.ceph.com/rpm-jewel/el7/$basearch  
    enabled=1  
    gpgcheck=1  
    type=rpm-md  
    gpgkey=https://download.ceph.com/keys/release.asc  
    priority=1
    
    \[Ceph-noarch\]  
    name=Ceph noarch packages  
    baseurl=http://download.ceph.com/rpm-jewel/el7/noarch  
    enabled=1  
    gpgcheck=1  
    type=rpm-md  
    gpgkey=https://download.ceph.com/keys/release.asc  
    priority=1
    
    \[Ceph-source\]  
    name=Ceph source packages  
    baseurl=http://download.ceph.com/rpm-jewel/el7/SRPMS  
    enabled=1  
    gpgcheck=1  
    type=rpm-md  
    gpgkey=https://download.ceph.com/keys/release.asc  
    priority=1
    
    \[ceph\]  
    name=ceph  
    baseurl=http://download.ceph.com/rpm-nautilus/el7/x86\_64/  
    gpgcheck=0  
    priority=1  
    enable=1  
    \[ceph-noarch\]  
    name=Ceph noarch packages  
    baseurl=http://download.ceph.com/rpm-nautilus/el7/noarch/  
    enabled=1  
    gpgcheck=1  
    type=rpm-md  
    gpgkey=https://download.ceph.com/keys/release.asc  
    \[ceph-source\]  
    name=Ceph source packages  
    baseurl=http://download.ceph.com/rpm-nautilus/el7/SRPMS/  
    gpgcheck=0  
    priority=2  
    enable=1
 *  yum install -y ceph-fuse
 *  mkdir /etc/ceph
 *  scp root@192.168.2.3:/etc/ceph/ceph.client.admin.keyring /etc/ceph/
 *  ceph-fuse -m 192.168.2.3:6789 /opt/ceph/ --no-mon-config
 *

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70]: /images/20221004/1742039cd4654eb7ad9949c2ad8852a5.png
[20210712035305800.png]: /images/20221004/750630747a6743fab3040ebabd709068.png
[202107120355232.png]: /images/20221004/1fe8a4b45f504a06b6afa6c72ddc6d00.png
[20210712035546800.png]: /images/20221004/3fdfa7a3f784476d989e2a86fdfdca54.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 1]: /images/20221004/84823d9e81c44aa4b3bc5adcf83db42b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 2]: /images/20221004/f5bc72e450eb47f5aaf370f14ddd7c5f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 3]: /images/20221004/965cddf41f5d4f64ad7049ebb1019590.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 4]: /images/20221004/6e5231cffa904b5890a9c5a03f09690d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 5]: /images/20221004/d3d13b659fe34dd99ce94f57f36e5e08.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 6]: /images/20221004/ac37885401c44327b1d16a1e845cfc34.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 7]: /images/20221004/af24158bff324e088d2481ca443e8403.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 8]: /images/20221004/e996e0f234c04a0283eac5b408732970.png
[20210711093533429.png]: /images/20221004/61d42e56fd6d4623955700a41a39e2dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 9]: /images/20221004/2c71a6ab7c05466daa420e6f91f2061f.png
[20210712040542179.png]: /images/20221004/464e7b543dfe43a3bf9ab276fa81bb8a.png
[20210712040559208.png]: /images/20221004/5675dd2977ca446ca75e1d1c860ef4a2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 10]: /images/20221004/194f0fa5d37440cfa07290a4361884f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 11]: /images/20221004/bda8791db2ba42b5a5fb81b8900276a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 12]: /images/20221004/5fcac88dbc5d4861a481b313d79098a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 13]: /images/20221004/b50256025d1747af833048255bbf8d76.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 14]: /images/20221004/c5657e495023444499e0b28bef9a6a52.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 15]: /images/20221004/76f9a4ae1434414abd8ec4e900beb8bc.png
[2021071110235635.png]: /images/20221004/1051cd10fa0d42b0b6103d86b1b8bb0f.png
[20210711102935479.png]: /images/20221004/b49ee498aede4ed7af53ae22e52ebf05.png
[2021071110300187.png]: /images/20221004/be1f9f4e86f24deaa5ac45caae75108e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 16]: /images/20221004/811777e4a58145ec87f848f17e0cf37a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 17]: /images/20221004/b699014f38d84e0fa01728cbedac6098.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 18]: /images/20221004/dbc38e2379e04a91afdca14a6e40bdd7.png
[20210711105022717.png]: /images/20221004/2d54aac80c2f4816bc1b39a59243a40c.png
[20210711105050730.png]: /images/20221004/1b3edcee67a34b3880df68878e90c7d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 19]: /images/20221004/d903067f8dd7470191c39d7da194a2e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 20]: /images/20221004/faf01752fb39434688a437a0719593d7.png
[20210711105242441.png]: /images/20221004/9cccbb49d69a4f228ac0d8680a2f0628.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 21]: /images/20221004/2661b2a1cd404f26b83d4b0d71d8dcd3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 22]: /images/20221004/6891674dec9c4fc2a8e4b94cf9dbd082.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 23]: /images/20221004/36a29a4a45fa4af98a96679de435d9dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 24]: /images/20221004/d258ccab8c014eb590db53fd213c8067.png
[20210711110120180.png]: /images/20221004/b9e728787e474c6eb05ddb61cc74a29b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 25]: /images/20221004/fd16552cda9944329205cf469e2f262c.png
[20210712042517345.png]: /images/20221004/62eab642d9a94819a4cd1d6e046649dd.png
[20210712042624246.png]: /images/20221004/6adf5b5dbcdc427bb91755d17cf5b9c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 26]: /images/20221004/9fa55a5fe37240ea933404f2207a4d4c.png
[20210711111025235.png]: /images/20221004/c5aa4b0800bf46ba8a53448f4b5919fb.png
[20210711111232956.png]: /images/20221004/428dd4481a544e6ca313a62d9cd61a0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 27]: /images/20221004/3e6aaa8053614c7bb3b75af76889a8f2.png
[20210712043353117.png]: /images/20221004/b7d599f3fe704f1d8d321370a01cdae6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 28]: /images/20221004/009b112bec0b40a7b362e8b1d3daa2c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 29]: /images/20221004/aae9d3b8be264b40b0927bef9782c506.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 30]: /images/20221004/9c01e46a192a4a15927c17c4e207d00a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 31]: /images/20221004/4fc2e1e578e64478922f8dc1cfd73790.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 32]: /images/20221004/4895822de1bc4207af9c7f02860cb69b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 33]: /images/20221004/fe23e11cf9eb4d75be3b342cce289a7c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 34]: /images/20221004/c0391f62ac564f45afb252be938d6844.png
[https_192.168.2.13_8443]: https://192.168.2.13:8443/#/login?returnUrl=%2Fdashboard
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 35]: /images/20221004/fd1535387e6f4e9ea4c295f2e6c34b26.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 36]: https://img-blog.csdnimg.cn/20210724083235415.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 37]: https://img-blog.csdnimg.cn/20210724083543478.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 38]: https://img-blog.csdnimg.cn/20210724084253542.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 39]: https://img-blog.csdnimg.cn/20210724085022588.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 40]: https://img-blog.csdnimg.cn/20210724085426265.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 41]: https://img-blog.csdnimg.cn/20210724085644165.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg=,size_16,color_FFFFFF,t_70
[https_www.elrepo.org_RPM-GPG-KEY-elrepo.org]: https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
[https_www.elrepo.org_elrepo-release-7.el7.elrepo.noarch.rpm]: https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm