Redis读书笔记——多机数据库的实现

不念不忘少年蓝@ 2022-10-22 07:46 189阅读 0赞

## 第十四章 复制slaveof ##

slaveof：复制，被复制的主服务器，复制的从服务器

### 14.1旧版复制功能实现（同步、命令传播） ###

#### 1.同步：更新到主服务器状态 ####

从对主发送SYNC–>主执行BGSAVE，生成RDB。缓冲区记录从现在开始的写命令–>主发送缓冲区写命令给从

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70]

#### 2.命令传播：主服务器被修改，出现主从服务器不一致，回到一直状态 ####

主的造成不一致的命令发送给从

### 14.2旧版复制功能的缺陷 ###

从服务器：初次复制，断线后重复制–>效率低（有重复的键，不只是改变的）

## 14.3新版复制功能实现 ##

使用PSYNC代替SYNC命令来执行复制时的同步操作----完整重同步（初次复制），部分重同步（断线后重复制）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 1]

## 14.4部分重同步实现 ##

三个部分：

*  主服务器的复制偏移量和从服务器的复制偏移量
 *  主服务器的复制积压缓冲区
 *  服务器的运行id

### 1.复制偏移量 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 2]

对比偏移量，可以知道状态是否一致

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 3]

\----复制积压缓冲区解决

### 2.复制积压缓冲区–保存一部分最近传播的写命令 ###

由主服务器维护的一个固定长度先进先出队列

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 4]

连接上主服务器后，会通过PSYNC命令将自己的复制偏移量offset发送给主服务器，主服务器会根据这个复制便宜量决定对从服务器执行何种同步操作

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 5]

### 3.服务器运行ID–服务器有自己的运行id，启动时自动生成 ###

从服务器保存主服务器的运行id

重连后发送之前保存的运行id，运行id不同，执行完整的重同步

### 14.5PSYNC命令实现 ###

执行完整重同步或部分

*  从服务器没有执行过复制 发送命令：PSYNC ? -1
 *  发送过：PSYNV

*  \+FULLRESYNC 完整重同步
 *  \+CONTINUE 部分重同步
 *  \-ERR redis版本低于2.8 不能识别

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 7]

### 14.6复制的实现 ###

#### 1.步骤一：设置主服务器的地址和端口 ####

将主服务器的地址和端口保存到masterhost 和masterport中

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 8]

#### 2.步骤二：建立套接字连接 ####

创建套接字连接，能成功连接，后续操作

主服务器接收套接字连接，创建相应客户端状态，将从服务器看作一个连接

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 9]

#### 3.步骤三：发送PING命令 ####

从服务器第一件事：向主服务器发送ping

作用：

*  检查套接字读写状态是否正常
 *  检查主服务器是否正常处理命令请求

发送后从服务器遇到情况

*  返回命令回复，但从服务器却不能在规定时间内读取命令回复内容—连接状态不佳，从服务器端口重创建套接字
 *  返回一个错误，从服务器断开重新创建套接字
 *  从服务器读到pong回复，连接正常

#### 4.步骤四：身份验证 ####

*  如果设置了masterauth–进行身份验证
 *  没有设置，不进行

**需要身份验证**

从—>主：AUTH 从服务器选项值

**遇到情况**

*  主没有设置requirepass，从没有设置masterauth，主继续复制
 *  密码相同，继续，不同返回invalid password
 *  主设置了requirepass，从没有设置masterauth，主返回noauth，主没设置requirepass，从设置了mashterauth，返回 no password is set

#### 5.步骤五：发送端口信息 ####

从–>主：从服务器的监听端口号replconf listening-port

主：记录在redisClient的slave\_listening\_port中

#### 6.步骤六：同步 ####

从–>主：PSYNC，经自己数据库更新至主服务器数据库当前状态

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 10]

#### 7：步骤七：命令传播 ####

主一直将自己执行的写命令发送给从服务器，从一直接---->一致

### 14.7心跳检测 ###

从默认每秒一次频率向主发送命令

replconf ack <replication\_offset>

作用

*  检测主从服务器网络连接
 *  辅助实现min-slaves选项
 *  检测命令丢失

#### 1.检测主从服务器的网络连接状态 ####

主超过一秒没有收到从的命令，主知道有问题–>发送info replication -->查看最后一次向主发送replconf ack 命令距离现在时间

#### 2.辅助实现min-slaves配置选项 ####

*  min-slaves-to-write 3
 *  min-slaces-max-lag 10

在从数量少于3个或三个从服务器延迟值都大于或等于10秒时，主将拒绝写命令。

#### 3.检测命令丢失 ####

中途丢失–>主发觉偏移量少于自己–>主根据自己的偏移量在复制积压缓冲区里找到缺少数据–>发送给从.

## 第十四章重点 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 11]

## 第十五章 Sentinel哨兵 ##

sentinel是redis高可用性的解决方案：由一个或多个sentinel实例组成的sentinel系统可用

*  监视任意多个主服务器，这些主的从服务器的从服务器
 *  故障转移：在被监视主服务器下线状态时，自动将下线主服务器的从服务器升级为新的主服务器，主服务器替代已下线的主服务器继续处理命令请求

### 15.1启动并初始化sentinel ###

*  redis-sentinel /path/to/your/sentinel.conf
 *  redis-server /path/to/your/senntinel.conf --sentinel

**sentinel步骤：**

初始化服务器–> 将普通redis服务器使用的代码替换成sentinel专用代码–>初始化sentinel–>根据给定配置文件，初始化sentinel的监视主服务器列表–>创建连向主服务器的网络连接

#### 1.初始化服务器 ####

sentinel本质：运行在特殊模式下的redis服务器

–>初始化一个普通的reids服务器（有不同，不作为数据库，不需AOF rdb）

#### 2使用sentinel专用代码 ####

#### 3.初始化sentinel状态 ####

#### 4.初始化sentinel状态的master属性 ####

#### 5.创建连向主服务器的网络连接 ####

### 15.2获取主服务器信息 ###

每十秒一次发送info命令：获得主服务器信息 + 从服务器的信息们

### 15.3获取从服务器信息 ###

### 15.4向主服务器和从服务器发送信息 ###

### 15.5接收来自主服务器和从服务器的频道信息 ###

可以发送订阅

#### 1.更新sentinels字典 ####

自己的忽略接收其他的

#### 2.创建连向其他sentinel的命令连接 ####

连接主从服务器：同时创建命令连接和订阅连接

连接其他sentinel：只创建命令连接

### 15.6检查主观下线状态 ###

sentinel 每秒一次发送ping 进行判断

*  有效回复:+pong -loading -masterdown
 *  无效回复：+pong-loading -masterdown之外的

连续多少秒内都返回无效回复—>下线

### 15.7检查客观下线状态 ###

会向同样监视这一主服务器的其他sentinel进行询问，接收足够的下线判断，判定为客观下线，并进行故障转移

#### 1.发送sentinel is-master-down-by-addr命令 ####

询问其他sentinel是否同意主服务器下线

#### 2.接收sentinel is-master-down-by-addr命令 ####

回复：

<down_state>检查结果	
    
    <leader_runid>
    
    <leader_epoch>

#### 3.接收sentinel is-master-down-by-addr命令的回复 ####

### 15.8选举领头Sentinel ###

主服务器下线，监视的sentinel们协商选举一个领头sentinel，有这个头对下线主服务器执行故障转移操作

选择方法

任意sentinel都有可能–>每次选举之后不论是否成功，所有的配置epoch自增一次，–>所有都可以设置为局部领头，一旦设置不能更改–>每个发现主服务器下线的sentinel都能要求其他sentinel将自己设置为局部领头sentinel–>局部领头sentinel设置规则，先到先得–>统计有多少将自己设为领头，胜出的成为领头sentinel–>领头sentinel进行故障转移操作

### 15.9故障转移 ###

领头sentinel对已下线的主服务器的操作

#### 1.在已下线主服务器下的从服务器中挑选一个，转换为主服务器 ####

(1)删除所有下线从服务器

（2）删除最近5秒没有回复过的

（3）删除超时的

根据优先级排序，选择优先级最高的

#### 2.已下线主服务器的从服务器们复制新的主服务器 ####

#### 3.已下线的主服务器设置为新服务器的从服务器 ####

## 第十五章重点 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 12]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 13]

## 第十六章集群 ##

redis集群是redis提供的分布式数据库方案，集群通过分片（sharding）进行数据共享，并提供复制和故障转移功能

集群节点，槽指派，命令执行，重新分片，转向，故障转移，消息等。。。

### 16.1节点 ###

集群由多个节点组成，连接节点：CLUSTER MEET 握手响应加入集群

#### 1.启动节点 ####

配置是否开启服务器集群模式  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 14]

#### 2.集群数据结构 ####

保存了一个节点的当前状态，比如节点的创建时间，节点的名字，节点的当前配置纪元，节点ip等。。

clusterNode结构

每个节点保存一个clusterNode结构，记录了当前节点是视角下，集群目前所处状态，

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 15]

#### 3.cluster meet命令实现 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 16]

### 16.2槽指派 ###

分片–>保存键值对

集群数据库—>16384个槽，—>每个键属于这些槽中的一个—>集群中每个节点可以处理1或16384个槽

数据库每个槽都有节点处理—集群上线状态 ， 任何一个没处理–下线

cluster addslots命令–>将一个或多个槽指派给节点负责

#### 1.记录节点的槽指派信息 ####

clusterNode结构的slots属性（二进制数组）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 17]

和numslot属性记录了节点负责处理哪些槽

#### 2.传播节点的槽指派信息 ####

告诉其他节点自己处理哪些槽

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 18]

#### 3.记录集群所有槽的指派信息 ####

slots数组记录了16384项，

#### 4.cluster addslots命令的实现 ####

接收一个或多个槽作为参数，并将所有输入的槽指派给接收该命令的节点负责

### 16.3在集群中执行命令 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 19]

#### 1.计算键属于哪个槽 ####

#### 2.判断槽是否由当前节点负责处理 ####

#### 3.moved错误 ####

根据moved错误提供的ip和端口，在进行转向

#### 4.节点数据库实现 ####

节点只能用0数据库

### 16.4重新分片 ###

redis-trib

### 16.5ASK错误 ###

键已将为迁移到目标节点

cluster setslot importing记录当前节点正在从其他节点导入的槽

cluster setslot migrating 记录当前节点正在迁移至其他节点的槽

如果键在正在迁移其他节点的槽中返回ASK

ASKING:打开发送该命令的客户端的REDIS\_ASKING标识

ASK和MOVED都会导致客户端转向

moved：槽的负责权已经从一个节点转移到了另一个节点

ASK:两个节点迁移过程中的一个临时措施

### 16.6复制与故障转移 ###

redis集群节点：主节点：处理槽 从节点：复制某个主节点

1.设置从节点

发送命令cluster replicate

2.故障检测

发送ping检测是否在线

**故障转移**从节点发现正在复制的主节点已下线，从节点开始故障转移

**选举新的主节点**

### 16.7消息 ###

集群节点通过发送接收消息通信—发送者，接收者

MEET:加入集群 PING PONG FAIL PUBLISH

消息=消息头+消息正文

meet ping pong消息实现—Gossip协议交换各自关于不同节点的状态信息

fail消息 快

publish 向chennel发送一条message， 向集群广播一条

## 第十六章重点 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 20]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70]: /images/20221022/536cf4c15c954851ad7473e81e0778bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 1]: /images/20221022/2937652db039450fbbdb578428adce62.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 2]: /images/20221022/da5edbabfc3b4beeaa4b3578594a6fce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 3]: /images/20221022/cf204461ef584d0e882e9669c4d974a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 4]: /images/20221022/1db83464509e4056b435ddd92dfdc9d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 5]: /images/20221022/ee855badcf33423f91cd16c5e7a59562.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 6]: /images/20221022/e35b783b19554e9d8e083e89f55f0df2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 7]: /images/20221022/c6391d0914f04d579632cd68f0265de5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 8]: /images/20221022/b9fe64dfc24642b0ae9e64a672df6460.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 9]: /images/20221022/48c2fe0a7ac14ef9b17e5f596d9a0cda.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 10]: /images/20221022/7e2fd154ad2d440b9cff4f51a2458533.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 11]: /images/20221022/4bd09f3761fd45b19bacbea730a43c22.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 12]: /images/20221022/8a7477f020934e5aa7d7357a7771e8ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 13]: /images/20221022/3ba4a4613a2f4826b2984f667a9780f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 14]: /images/20221022/e638b412ee074dbe85eec5f10054553f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 15]: /images/20221022/11842db383964ce7a575910563b3a304.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 16]: /images/20221022/0c4486962a4142f3a85d87aeb4a8fdcb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 17]: /images/20221022/e23b3155201c4510a948d972eefcc8f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 18]: /images/20221022/d06bdcec23204e6dbfb4fc5ad0576319.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 19]: /images/20221022/8525b4d92dc44f42a3263eeff229c21d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTc5NTA0OQ_size_16_color_FFFFFF_t_70 20]: /images/20221022/b7bd22aabb8c45dcbfe32248322c633f.png