深入学习 Redis Cluster - 基于 Docker、DockerCompose 搭建 Redis 集群，处理故障、扩容方案

叁歲伎倆 2024-03-02 08:00 112阅读 0赞

**目录**

一、基于 Docker、DockerCompose 搭建 Redis 集群

1.1、前言

1.2、编写 shell 脚本

1.3、执行 shell 脚本，创建集群配置文件

1.4、编写 docker-compose.yml 文件

1.5、启动容器

1.6、构建集群

1.7、使用集群

1.8、如果集群中，有节点挂了，怎么办？

二、集群故障、扩容处理

2.1、集群故障处理

a）故障判定

b）故障迁移

2.2、集群宕机

2.3、集群扩容

a）分析

b）将新的主节点 110 加入到集群中

c）重新分配 slots

问题：如果在搬运 slots / key 的过程中，客户端能否访问 redis 集群呢？

--------------------

## 一、基于 Docker、DockerCompose 搭建 Redis 集群 ##

--------------------

### 1.1、前言 ###

当前阶段，由于我只有一个 云服务器，搞分布式系统就比较麻烦，而实际工作中，一般是通过多个主机的方式来搭建集群的.

因此这里我会 基于 docker、docker-compose（容器编排） 来搭建 redis 集群.

> Ps：搭建前，一定要把之前启动的 redis 容器停止.

### 1.2、编写 shell 脚本 ###

在 linux 上，以 .sh 为后缀的文件称为 “shell 脚本” ，通过这个文件，我们就可以把平时在 linux 上执行的指令，批量化执行，同时，还能加入 条件、循环、函数等机制.

这里我们创建 11 个 redis 节点. 这些 redis 的配置文件内容，大同小异，因此这里使用 脚本来批量生成（也可以不使用脚本，手动一个一个改）.

for port in $(seq 1 9); \
    do \
    mkdir -p redis${port}/
    touch redis${port}/redis.conf
    cat << EOF > redis${port}/redis.conf
    port 6379
    bind 0.0.0.0
    protected-mode no
    appendonly yes
    cluster-enabled yes
    cluster-config-file nodes.conf
    cluster-node-timeout 5000
    cluster-announce-ip 172.30.0.10${port}
    cluster-announce-port 6379
    cluster-announce-bus-port 16379
    EOF
    done
    
    # 注意 cluster-announce-ip 的值有变化，和上面分开写也是因为这个原因
    
    for port in $(seq 10 11); \
    do \
    mkdir -p redis${port}/
    touch redis${port}/redis.conf
    cat << EOF > redis${port}/redis.conf
    port 6379
    bind 0.0.0.0
    protected-mode no
    appendonly yes
    cluster-enabled yes
    cluster-config-file nodes.conf
    cluster-node-timeout 5000
    cluster-announce-ip 172.30.0.1${port}
    cluster-announce-port 6379
    cluster-announce-bus-port 16379
    EOF
    done

**for port in $(seq 1 9)：**表示一个循环，seq 是一个 linux 命令，生成 \[1, 9\] 数字，依次赋值给变量 port.

**do、done：**在 shell 中 \{ \} 用来表示变量，不是代码块，对于 for， 就是使用 do 和 done 来表示 代码块 开始 和 结束 的（上古时期的编程语言就是这样的）.

**\\：**表示续航符，就是把下一行的内容和当前行，合并成一行. shell 默认情况下，要求把所有代码都写到一行里，但是可以使用续航符来换行继续补充.

**第一个循环体的内容（第二个循环体思想也一样）：**通过 mkdir 创建 9 个名字分别为 redis1、redis2、redis3......的文件夹，接着，通过 touch redis$\{port\} 在每个文件夹下，创建 redis.conf 文件. 文件的内容（从 EOF 开始，到 EOF 结束）通过 cat 写入到每个 redis.conf 文件中.

**字符串拼接：**shell 中拼接字符串是直接写在一起的，不需要使用 +.

**cluster-enabled yes：**开启集群

**cluster-config-file：**后续启动节点后，自动生成的节点配置文件，会配置一些 redis 集群信息.

**cluster-node-timeout 5000：**心跳包的超时时间设置为 5000 ms.

**cluster-announce-ip：**表示当前 redis 节点所在的主机 ip 地址（当前是使用 docker 容器模拟的主机，此处因该是 docker 容器的 ip）.

**cluster-announce-port：**表示当前 redis 节点自身绑定的端口（容器内的端口）. 不同容器内部可以有相同端口，后续进行端口映射，再把容器外的端口不同端口映射到容器内的端口即可.

**cluster-announce-bus-port：**一个服务器可以绑定多个端口号，当前这个表示管理端口（刚刚上面讲的是业务端口，是用来进行业务数据通信的），用来完成一些管理以上任务进行通信的（如果某个 分片 中的 redis 主节点挂了，就需要让从节点成为主节点，就需要通过 管理端口 来完成）.

### 1.3、执行 shell 脚本，创建集群配置文件 ###

通过以下命令执行 shell 脚本

centos 执行 shell 脚本命令：

sh generate.sh

ubuntu 执行 shell 脚本命令：

bash generate.sh

执行后，会得到 11 个目录，每个目录里都有一个配置文件，配置文件中，ip 地址各不相同

![5b87c0495a8243b8a5b63ae7226a6c5a.png][]

![9dd40190fb09408c93992566755d238b.png][]

### 1.4、编写 docker-compose.yml 文件 ###

在配置文件中，需要先手动创建 networks 网络，然后分配 网段 给后续创建 redis 集群中每一个节点的静态ip.

> Ps：这里配置静态 ip（固定 ip）是为了后续观察.

version: '3.3'
    networks:
      mynet:
        ipam:
          config:
            - subnet: 172.30.0.0/24

接着创建 redis 集群中每一个节点

services:
      redis1:
        image: 'redis:5.0.9'
        container_name: redis1
        restart: always
        volumes:
          - ./redis1/:/etc/redis/
        ports:
          - 6371:6379
          - 16371:16379
        command:
          redis-server /etc/redis/redis.conf
        networks:
          mynet:
            ipv4_address: 172.30.0.101
    
      redis2:
        image: 'redis:5.0.9'
        container_name: redis2
        restart: always
        volumes:
          - ./redis2/:/etc/redis/
        ports:
          - 6372:6379
          - 16372:16379
        command:
          redis-server /etc/redis/redis.conf
        networks:
          mynet:
            ipv4_address: 172.30.0.102
    
      redis3:
        image: 'redis:5.0.9'
        container_name: redis3
        restart: always
        volumes:
          - ./redis3/:/etc/redis/
        ports:
          - 6373:6379
          - 16373:16379
        command:
          redis-server /etc/redis/redis.conf
        networks:
          mynet:
            ipv4_address: 172.30.0.103
    
      redis4:
        image: 'redis:5.0.9'
        container_name: redis4
        restart: always
        volumes:
          - ./redis4/:/etc/redis/
        ports:
          - 6374:6379
          - 16374:16379
        command:
          redis-server /etc/redis/redis.conf
        networks:
          mynet:
            ipv4_address: 172.30.0.104
    
      redis5:
        image: 'redis:5.0.9'
        container_name: redis5
        restart: always
        volumes:
          - ./redis5/:/etc/redis/
        ports:
          - 6375:6379
          - 16375:16379
        command:
          redis-server /etc/redis/redis.conf
        networks:
          mynet:
            ipv4_address: 172.30.0.105
    
      redis6:
        image: 'redis:5.0.9'
        container_name: redis6
        restart: always
        volumes:
          - ./redis6/:/etc/redis/
        ports:
          - 6376:6379
          - 16376:16379
        command:
          redis-server /etc/redis/redis.conf
        networks:
          mynet:
            ipv4_address: 172.30.0.106
    
      redis7:
        image: 'redis:5.0.9'
        container_name: redis7
        restart: always
        volumes:
          - ./redis7/:/etc/redis/
        ports:
          - 6377:6379
          - 16377:16379
        command:
          redis-server /etc/redis/redis.conf
        networks:
          mynet:
            ipv4_address: 172.30.0.107
    
      redis8:
        image: 'redis:5.0.9'
        container_name: redis8
        restart: always
        volumes:
          - ./redis8/:/etc/redis/
        ports:
          - 6378:6379
          - 16378:16379
        command:
          redis-server /etc/redis/redis.conf
        networks:
          mynet:
            ipv4_address: 172.30.0.108
     
      redis9:
        image: 'redis:5.0.9'
        container_name: redis9
        restart: always
        volumes:
          - ./redis9/:/etc/redis/
        ports:
          - 6379:6379
          - 16379:16379
        command:
          redis-server /etc/redis/redis.conf
        networks:
          mynet:
            ipv4_address: 172.30.0.109
    
      redis10:
        image: 'redis:5.0.9'
        container_name: redis10
        restart: always
        volumes:
          - ./redis10/:/etc/redis/
        ports:
          - 6380:6379
          - 16380:16379
        command:
          redis-server /etc/redis/redis.conf
        networks:
          mynet:
            ipv4_address: 172.30.0.110
     
      redis11:
        image: 'redis:5.0.9'
        container_name: redis11
        restart: always
        volumes:
          - ./redis11/:/etc/redis/
        ports:
          - 6381:6379
          - 16381:16379
        command:
          redis-server /etc/redis/redis.conf
        networks:
          mynet:
            ipv4_address: 172.30.0.111

**- subnet: 172.30.0.0/24：**此处 172.30.0 是网络号，并且 ip 是内网 ip，这就要求 不能和你当前主机上现有的其他网段冲突（每个人主机上已有的网段，具体不一定一样）.

**ipv4\_address: 172.30.0.101：**此处配置静态 ip。注意网路号部分要和前面的网一致，主机号部分可以在(1~255 之间随意配置，不重复就行)，但是这里我们需要按照之前在配置文件中写的 cluster-announce-ip 要对应的上，如下图

![96ddff2d4c734236969d389a9a47bc98.png][]

### 1.5、启动容器 ###

通过 docker-compose up -d 启动 yml 中配置的所有容器.

![943b37935ddc4c3dafeaa57cf49ed582.png][]

![b1ea8fd50cc14cdfacfe30a65e7a1532.png][]

### 1.6、构建集群 ###

此处是把前 9 个主机构建成集群, 3 主 6 从. 后 2 个主机暂时不⽤.

通过以下命令构建即可

redis-cli --cluster create 172.30.0.101:6379 172.30.0.102:6379 172.30.0.103:6379 172.30.0.104:6379 172.30.0.105:6379 172.30.0.106:6379 172.30.0.107:6379 172.30.0.108:6379 172.30.0.109:6379  --cluster-replicas 2

**--cluster create：**表⽰建⽴集群. 后⾯填写每个节点的 ip 和地址（确保这个命令的 IP 和实际环境一致）.

**--cluster-replicas 2：** 表⽰每个主节点需要两个从节点备份. 这个配置设置了以后，redis 就知道 3 个节点是一伙的（一个分片上的），一共 9 个节点，一共是 3 个分片.

![3a37f9ad239344bd893873a7fa1be6a2.png][]

输入 yes 后，如下

![bc959a6e6a02433ebbf744043dbabc38.png][]

### 1.7、使用集群 ###

现在从 101 - 109 九个节点，是一个集群，使用客户端端连上任意一个节点，本质上都是等价的（每个集群分别存储 “全集” 数据中的一部分，**连接任意一个客户端时加上 -c 选项，都可以访问到全集数据**）.

建立号集群后，连接客户端，可以通过 -h -p 连接、可以通过 -h 连接，也可以直接通过 -p 连接对外端口，如下（以下都是连接 172.30.0.103:6379 ）:

![a4fa0560e5dd4492b507cf89daf4578c.png][]

通过 cluster nodes 查看当前集群的信息.

![5122272ad1a54c7e9e625ab3d53311c0.png][]

在集群中存储数据

![eaa0208d566644aeb1e581510052c54f.png][]

上图 error 的原因是 k1 这个 key 通过 hash 计算后，得到 slot 是 12706， 这个槽位号在刚刚查看的集群信息中是属于 3 号分片的.

![44fcc670e9f747d4a8038d44199fd126.png][]

报错信息中提示我们，要把客户端请求转发给 103 这个节点.

这样岂不是很麻烦？

**实际上，我们可以在启动 redis-cli 的时候，加上 -c 选项，此时 redis 客户端就会根据当前 key 计算出的槽位号，自动找到匹配的分片主机，进一步完成操作.**

![0eb93c73a4f744979a98393e4486a301.png][]

注意上图，重定向后，redis 连接的客户端也会改变.

**另外，如果尝试在从节点上写操作，也会自动重定向到指定的主节点上.**

> Ps：实际上，以前所讲到的 redis 相关命令，基本上都是都是适用的（除了个别，例如 mset，mget...... 这种可以操作多个 key 的，是不可用的，因为 key 可能都是分散在不同分片上的）.

### 1.8、如果集群中，有节点挂了，怎么办？ ###

如果挂了的节点是从节点？没事~

如果挂了的事主节点？写操作就不能进行了！此时集群做的工作，和 哨兵 做的有点类似了，会自动从主节点下的从节点挑一个出来，提拔成主节点.

这里我让 redis1 这个主节点挂掉

docker stop redis1

redis1 挂掉前，集群信息如下：

![ed6a294ac2934ab5be336a42445fe81f.png][]

redis1 挂掉后，集群信息如下：

![ee574b0088c644b1ba783672305041a8.png][]

可以看出，集群机制，也能处理故障转移.

## 二、集群故障、扩容处理 ##

--------------------

### 2.1、集群故障处理 ###

#### a）故障判定 ####

1. 每个节点，每秒钟，都会给一些随机的节点发送 ping 包（这里既包含了集群的配置信息，如 id、属于哪个分片、是主节点还是从节点、持有哪些 slots......），收到的节点会返回一个 pong 包. 这里的 ping 包，不是全发一遍，这样设定是为了避免在节点很多的时候，心跳包也是非常多的，严重消耗网络带宽.

2. 当节点 A 给节点 B 发送 ping 包， B 不能如期回应的时候，A 就会重置和 B 的 TCP 连接，如果重连失败，A 就会把 B 设为 PFAIL （相当于主观下线）。

3. A 判定 B PFAIL 后，会通过 redis 内置的 Gossip 协议，和其他节点沟通，向其他节点确认 B 的状态.

4. 如果 A 发现其他还跟多节点也认为 B 为 PFAIL，并且数目超过集群个数的一般，那么 A 就会把 B 标记为 FAIL（相当于客观下线），并且把这个消息同步给其他节点，让其他节点也把 B 标记为 FAIL.

#### b）故障迁移 ####

首先会有个判定：

*  如果 B 是从节点，就不需要进行故障迁移.
 *  如果 B 是主节点，那么就会由 B 的从节点（比如 C 和 D），触发故障迁移.

具体的：

1. 从节点判定自己是否具有参选资格，如果从节点太久没和主节点通信（太久没有同步数据，差异太大），就会失去竞选资格.

2. 有资格的节点，比如 C 和 D ，就会先休眠一定的时间，休眠时间 = 500ms 基础时间 + \[0, 500ms\] 随机时间 + 排名 \* 1000ms，offset 值越大（表明数据越接近主节点），排名越靠前（休眠时间越短），**也就是说，休眠时间主要取决于排名**.

3. 此时如果 C 的休眠时间到了，C 就会给所有集群中的节点，进行拉票操作，**但是只有主节点才有投票资格**.（谁休眠时间短，大概率就是新的主节点了）.

4. 主节点会把自己的票投给 C（每个主节点只有 1 票），当 C 收到的票数超过主节点数目的一半，C 就会晋升成为主节点（C 自己执行 slaveof no one，并且让 D 执行 slaveof C）.

5. 同时，C 还会把自己成为主节点的消息，同步给其他集群的节点，大家都会更新自己保存的集群结构信息.

6. 最后，如果之前宕机的主机点恢复了，就会变成从节点接入到集群中.

![3c47f0ddef1445f6b4a0ce25ca6f1bdb.png][]

### 2.2、集群宕机 ###

以下三种情况会出现集群宕机：

某个分片，所有的主节点和从节点都挂了，这个时候分片就无法提供数据服务了.

某个分片，主节点挂了，但是没有从节点，也无法提供数据服务了.

超过半数的 master 节点挂了，说明集群遇到了非常严重的情况，就得感觉停止下来，检查看是不是有什么问题！

> Ps：如果集群中有一个节点挂了，无论是什么节点，我们程序员都因该尽快处理好（最晚，也是第二天上班之前处理好）.

### 2.3、集群扩容 ###

#### a）分析 ####

上述操作，已经将 101 ~ 109 9 个主机，构成了 3 主， 6 从结构的集群了.

接下来为了演示扩容，就把 110 和 111 也加入到集群中.

以 110 为 master ，111 为 slave，把数据分片从 3 -> 4.

#### b）将新的主节点 110 加入到集群中 ####

redis-cli --cluster add-node 172.30.0.110:6379 172.30.0.101:6379

add-node：第一个 ip 和 端口号 表示新增的节点是什么，第二个 ip 和端口号 表示集群上任意一个节点（任何一个都行，只要是你想加入的某一个集群中的节点即可），表示要把新节点加入到哪个集群中.

![03c30dc88262449380a0114ad9f98a51.png][]

之后通过 cluster nodes 就可以看到 redis10 主节点加入集群，但是并没有分配 slots.

![27ca73eeedec49fe9bbccfb0a0b57b59.png][]

#### c）重新分配 slots ####

把之前的三组 master 上面的 slots 拎出来，分配给新的 master

redis-cli --cluster reshard 172.30.0.101:6379

输入命令后，会先打印出当前集群每个机器的情况，然后要求用户输入要切分多少个 slots

![be8b46f41f8640c2a0af874d77e6928f.png][]

4 个分片，一共是 16384，除以 4 得到的就是 4096，因此这里填 4096 即可（给 redis10 切分出 4096 个槽位号）.

紧接着，会询问让哪个节点来接收，直接粘贴 redis10 这个主机的 id 即可.

![38ab39952fbd4799ae217656a5b38cc1.png][]

接着，就让你选择从哪些节点且分出 slots：

![bce10fd4478045538c9be9bb7fbb99be.png][]

1.  all：表示从其他每个持有 slots 的 master 都点过来.
2.  手动指定，从某一个或者某几个节点来移动 slots（以 done 为结尾）.

输入 all 之后，不会真正的搬运，而是先给出搬运的计划.

![62d57375611d4cceb5a7ff180fe58c95.png][]

当输入 yes 之后，**搬运真正开始，此时不仅仅是 slots 重新划分，也会把 slots 上对应的数据，也搬运到新的主机上**.（这是比较重量级的操作）

![2bf96575018141fc88fef1e20674ec39.png][]

#### d）给新的主节点添加从节点 ####

redis-cli --cluster add-node 172.30.0.111:6379 172.30.0.101:6379 --cluster-slave

![f03d5995e6f249cdb1c255b6a1b38920.png][]

执⾏完毕后, 从节点就已经被添加完成了.

#### 问题：如果在搬运 slots / key 的过程中，客户端能否访问 redis 集群呢？ ####

之前咱们了解到哈希槽分区算法，可以知道 大部的 key 是不用搬运的 ，针对这些未搬运的 key，此时可以正常访问的. **针对正在搬运中的 key，是有可能会出现访问出错的情况**.

*假设 客户端 访问 k1，集群通过分片算法得到的 k1 是第一个分片的数据，就会重定向到第一个分片的节点，那么就有一种可能，在重定向过去之后，正好 k1 被搬走了，自然就无法访问了.*

如果像针对生产环境进行扩容操作，还是得悠着点，比如找个夜深人静的时候，没啥客户端访问集群的时候，进行扩容，就可以把损失降到最低.

**很明显，要想追求更高的可用性，让扩容对于用户影响更小，就需要搞一组新的机器，重新搭建集群，并且把数据导进来，使用新集群代替旧集群**（但是成本是最高的）.

> Ps：关于集群的缩容，就是把一些节点拿掉，减少分片的数量.
> 
> **不过一般都是进行扩容，很少缩容.**

![bf56368105a34f26b193caecf4c136bd.gif][]

[5b87c0495a8243b8a5b63ae7226a6c5a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/da3d4beef3b24d1887eabe6ab50b0e4e.png
[9dd40190fb09408c93992566755d238b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/00af2cf381dc44e6a4ebcb434f75edfb.png
[96ddff2d4c734236969d389a9a47bc98.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/1e5b2e1b0cd94556a1ec43be9034a5a4.png
[943b37935ddc4c3dafeaa57cf49ed582.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/e23aea8ee9ce442380c833210d66ddaa.png
[b1ea8fd50cc14cdfacfe30a65e7a1532.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/5d67a04f3fe14c57a2c0c780e46f1258.png
[3a37f9ad239344bd893873a7fa1be6a2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/5bf29375d0e540ff92e0e92c2c02a538.png
[bc959a6e6a02433ebbf744043dbabc38.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/e8e6e6908f8c4363810c399327f0591a.png
[a4fa0560e5dd4492b507cf89daf4578c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/c9a53290511d44a482d67cd1b07df809.png
[5122272ad1a54c7e9e625ab3d53311c0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/d5a2dd9628b3499a8754c494a4c083e4.png
[eaa0208d566644aeb1e581510052c54f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/76a3d41026244cabb2e3d48236f0071a.png
[44fcc670e9f747d4a8038d44199fd126.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/a7150400d8bb456382f486dc23517357.png
[0eb93c73a4f744979a98393e4486a301.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/4a47d3b0e0bc485cbaf7ed6ec8b516b8.png
[ed6a294ac2934ab5be336a42445fe81f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/7e75057db6674e6eb49e6bd2011a8d88.png
[ee574b0088c644b1ba783672305041a8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/a39d878ebe264f0490ffbcb54d992f54.png
[3c47f0ddef1445f6b4a0ce25ca6f1bdb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/b0c2c8a9b56d4d8fb05a428f30a9e8a2.png
[03c30dc88262449380a0114ad9f98a51.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/776fec35694c4bcead73a338e863c34d.png
[27ca73eeedec49fe9bbccfb0a0b57b59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/6cfc4dcc9f8e4fa0a94036e8c6302e68.png
[be8b46f41f8640c2a0af874d77e6928f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/32b5eb87d9914c61acd49024174a38da.png
[38ab39952fbd4799ae217656a5b38cc1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/1e9f481c279742ae8647df125b95f119.png
[bce10fd4478045538c9be9bb7fbb99be.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/3b5411130b4e490da7a68957cf199544.png
[62d57375611d4cceb5a7ff180fe58c95.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/300a3db4f0464bae8d3655a42dcecdb9.png
[2bf96575018141fc88fef1e20674ec39.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/0a65978c2e4a40c194079361e223006a.png
[f03d5995e6f249cdb1c255b6a1b38920.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/30c401e77bec4502a172e2654de60d30.png
[bf56368105a34f26b193caecf4c136bd.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/0ad83919125a4da49d58948716c9296a.png