Redis(二)——复制

妖狐艹你老母 2022-02-23 05:03 255阅读 0赞

前边的Redis持久化解决了，单机故障能够重启恢复备份数据的功能。而在分布式系统中，为了解决单点问题，达到高可用的目的，需要进行redis数据分布式，进行多台机器实时备份，从而满足更高效的故障恢复和负载均衡等需求。好，这篇我们来看一下Redis的复制功能。复制功能也是Redis哨兵模式，集群模式的基础。

参与复制的Redis节点分为主节点（master）和从节点（slave），默认情况下都为master，每个slave只能有一个master，而master可以同时有多个slave，复制的数据流是单向的，只能从master——>slave。

接下来我们从**使用方式、支持的相关拓扑结构、相关原理、常见问题**四个方面学习总结Redis的复制。

--------------------

** 一，使用方式：**

** 1，建立复制**：a，通过在配置文件中加入：slaveof \{masterHost\} \{masterPort\}岁Redis启动生效；b，在redis-server启动命令后加入 --slaveof \{masterHost\} \{masterPort\}生效；c，直接使用命令：slaveof \{masterHost\} \{masterPort\}生效。通过使用info replication查看复制的相关状态。

**       2，断开复制**：slaveof命令不但可以建立复制，还可以在从节点执行slaveof no one来断开与主节点的复制关系。其流程a，断开与主节点复制关系；b，从节点晋升为主节点。

**3，安全性**：对于数据比较重要的节点，主节点通过设置requirepass参数进行密码验证。client必须使用auth命令实行校验，从节点需要配置masterauth参数与主节点一致。

**4，只读**：默认情况下，从节点使用slave-read-only=yes配置为只读模式。修改只在主节点实现。

**5，传输延迟**：Redis提供了repl-disable-tcp-nodelay参数用于控制是否关闭TCP\_NODELAY。默认关闭。当开启时，主节点会合并较小的TCP数据包，从而节省带宽。一般为发送间隔40毫秒。如果要求低延迟，例如读写分离等，就关闭此功能；如果考虑容灾性，做备份，建议打开。

--------------------

**  二，拓扑结构：**

<table>  Redis复制拓扑结构  
 <thead> 
  <tr> 
   <th style="width:90px;">拓扑结构</th> 
   <th style="width:409px;">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="width:90px;">1.一主一从</td> 
   <td style="width:409px;">最简单的，master可以做业务操作，保持高性能，slave做备份，并开启AOF持久化，保持数据安全。</td> 
  </tr> 
  <tr> 
   <td style="width:90px;">2.一主多从</td> 
   <td style="width:409px;">对于读多写少的场景，可以进行读写分离，利用从节点分担主节点的压力。对于写并发量较高的场景，如果从节点过多，会加大网络带宽，同时加速主节点的负载。</td> 
  </tr> 
  <tr> 
   <td style="width:90px;">3.树状主从结构</td> 
   <td style="width:409px;"> <p>从节点不但复制主节点的数据，还充当其它从节点的主节点继续向下层复制。可以减小多个从节点给主节点带来过高负载，干扰主节点性能。</p> <p style="text-align:center;"><img alt="" height="300" src="https://img-blog.csdnimg.cn/20190406213144403.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9saXVqaWFoYW4uYmxvZy5jc2RuLm5ldA==,size_16,color_FFFFFF,t_70" width="350"></p> <p>&nbsp;</p> </td> 
  </tr> 
 </tbody> 
</table>

--------------------

**  三，流程原理：**

**       1，复制流程：**

<table>  Redis复制流程  
 <thead> 
  <tr> 
   <th>流程节点</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1.保存主节点信息</td> 
   <td>执行salveof命令后slave节点首选保存master的相关信息，方便后期通讯。</td> 
  </tr> 
  <tr> 
   <td>2.主从建立socket连接</td> 
   <td>slave内部通过每秒运行的定时任务维护复制相关逻辑，发现新的主节点，会尝试与其建立网络连接。</td> 
  </tr> 
  <tr> 
   <td>3.发送ping命令</td> 
   <td>连接建立成功后，发送ping请求进行首次通讯，检测主从之间的网络套接字是否可用、检测主节点当前是否可接受处理命令。主节点会pong回复。</td> 
  </tr> 
  <tr> 
   <td>4.权限验证</td> 
   <td>如果master设置了requirepass参数，则进行密码验证。</td> 
  </tr> 
  <tr> 
   <td>5.同步数据集</td> 
   <td>首次建立复制的场景，master会把数据全量发送给slave。</td> 
  </tr> 
  <tr> 
   <td>6.命令持续复制</td> 
   <td>随着master的写入操作，master会持续把写命令发送给slave，保持数据一致性。</td> 
  </tr> 
 </tbody> 
</table>

**       2，数据同步：**

**       **psync复制命令，需要主从节点各自复制偏移量、主节点复制积压缓冲区、主节点运行id支持完成。从节点可以使用此命令完成部分复制和全量复制功能，命令格式：psync\{runId\}\{offset\}。

<table>  psync复制命令  
 <tbody> 
  <tr> 
   <td style="width:144px;">1.复制偏移量offset</td> 
   <td style="width:655px;">master会维护自己的偏移量，slave每秒上报自身复制偏移量，slave接受到主节点发送命令后，会累加自己的复制偏移量。这样通过复制偏移量就能很清楚知道两者数据的一致性了。</td> 
  </tr> 
  <tr> 
   <td style="width:144px;">2.复制积压缓冲区</td> 
   <td style="width:655px;">master上一个固定长度的队列，默认大小1MB，当master有写命令时，不仅同步salve，还有写入一份缓冲区，用于各种异常的补救。</td> 
  </tr> 
  <tr> 
   <td style="width:144px;">3.主节点运行id</td> 
   <td style="width:655px;">每个redis启动后都会分配一个40位的十六进制字符串为运行id，为其唯一标示。</td> 
  </tr> 
 </tbody> 
</table>

**       **看下示意图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saXVqaWFoYW4uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70][]

**       3，全量复制流程：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saXVqaWFoYW4uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1][]

说明：第6步，由于在传输RDB以及加载的时候，master任然有写操作，这是就放到前边说到的复制缓冲区中，等加载完RDB后，主节点将缓冲区的数据发送给从节点从而保持数据一致。

其中时间开销主要出现在：1，master的bgsave操作；2，RDB文件的网络传输；3，slave清空旧数据；4slave加载RDB文件；5，如果开启AOF，AOF的重写时间。这些需要我们多考虑的。

**       4，部分复制流程：**

**     ** 当slave和master短时间断开后，重新连接后，master会将复制缓冲区中的数据，增量发送给slave。避免全量同步的巨大开销。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saXVqaWFoYW4uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 2][]

**       5，心跳：**主从节点彼此都有心跳检测机制：master默认10秒发送ping命令，判断从节点的存活性和连接状态；slave每个1秒发送replconf ack \{offset\}，上报自己的复制偏移量。从而达到彼此的及时了解。

**       6，异步复制：**master节点不仅负责数据读写，还负责把写命令同步给slave，写命令的发送过程是异步完成，在处理完业务直接返回client，不等待从节点的复制完成。从而达到主从复制基本上不影响master处理正常业务逻辑的性能。

--------------------

**  四，常见问题：**

<table> 
 <tbody> 
  <tr> 
   <td>1-读写分离</td> 
   <td> <p>a，复制数据延迟：业务能否容忍；通过偏移量进行监控</p> <p>b，读到过期数据：惰性删除、定时删除。3.2版本后解决此问题。</p> <p>c，从节点故障问题：考虑Redis Cluster集群方案</p> </td> 
  </tr> 
  <tr> 
   <td>2-主从配置不一致</td> 
   <td>对于内存等，主从机器的配置，Redis参数配置最好一样，防止出现一个能用，另一个down掉的情况。</td> 
  </tr> 
  <tr> 
   <td>3-规避全量复制</td> 
   <td> <p>a，第一次建立复制，无法避免，低峰操作，考虑影响；</p> <p>b，节点运行ID不匹配，利用后边的哨兵模式、集群模式进行解决；</p> <p>c，复制积压缓冲区不足，分析合理的缓冲区大小。</p> </td> 
  </tr> 
  <tr> 
   <td>4-规避复制风暴</td> 
   <td>从节点不要太多，必要可以使用树状拓扑结构，来保护主节点。</td> 
  </tr> 
 </tbody> 
</table>

--------------------

好，这篇小结了一下Redis的复制功能，这也是Redis后边哨兵模式和集群模式的基础。学习设计思想。加油。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saXVqaWFoYW4uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]: /images/20220223/3307b3bf79f34023a28e3034d5c4ffcd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saXVqaWFoYW4uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 1]: /images/20220223/83269b37fc734d50964f7c43804afeca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9saXVqaWFoYW4uYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70 2]: /images/20220223/0b7cc382157446f2b2f85dbde45a9f82.png