RocketMQ的集群搭建

太过爱你忘了你带给我的痛 2023-10-01 19:54 134阅读 0赞

### **1、数据复制和刷盘策略** ###

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rWB5rWq5aSn5Lq6_size_20_color_FFFFFF_t_70_g_se_x_16][]

**数据复制**

复制策略是Broker的Master和Slave之间的数据同步方式，分为同步复制和异步复制

*  同步复制：消息写入master后，master会等待slave同步数据成功后才向producer返回成功ACK
 *  异步复制：消息写入master后，master会立即向producer返回成功ACK，不会等待slave同步数据成功

**刷盘策略**

刷盘策略是指消息发送到broker内存后消息持久化到磁盘的方式(也叫做落盘)，分为同步刷盘和异步刷盘

*  同步刷盘：当消息持久化到broker的磁盘后才算是消息写入成功
 *  异步刷盘：当消息写入到broker的内存后即表示消息写入成功，无需等待消息持久化到磁盘

对于异步刷盘策略来讲，消息写入到PageCache后立即返回成功ACK，但并不会立即做落盘操作，
    而是当PageCache到达一定量时会自动进行落盘。

### **2、Broker集群模式** ###

**2.1、多master**

broker集群仅由多个master构成，不存在slave。同一个Topic的各个Queue会平均分布在各个master节点上。

*  优点：配置简单，单个master宕机或重启维护对应用影响很小。在磁盘配置为RAID10(磁盘阵列，用于数据保护)时，即使机器宕机不可恢复的情况下，消息也不会丢失(同步刷盘不会丢失，异步刷盘丢失少量信息)
 *  缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可消费，消费实时性会收到影响。

以上优点的前提是master都配置了RAID，如果没有配置，一旦某个master出现宕机，则会出现
    大量消息丢失的情况。

**2.2、多master多slave模式-异步复制**

broker集群由多个master构成，每个master又配置了多个slave(在配置了RAID的情况下，一个master一般配置一个slave即可)。master与slave的关系时主备关系，master负责处理消息的读写，slave只负责消息的备份和master宕机后的角色切换。

该模式最大的特点之一是，当master宕机后slave能自动切换成master。不过由于slave从master的同步具有短暂的延迟(毫秒级)，所以当master宕机后，这种异步复制方式可能会存在少量消息丢失的问题。

对于master的RAID，若使用的也是异步复制策略，同样也存在延迟问题，但它的延迟是微秒级 的(因为是由硬盘支持的)，所以丢失的数据会更少

**2.3、多master多slave模式-同步双写**

双写是指消息写入master成功后，会等待slave同步数据成功后才向producer返回成功ACK，即两者都要写入成功。与异步复制模式相比，优点是安全性更高，不存在消息丢失的情况，但单个消息的RT略高，导致性能略低(大约低10%)

该模式存在一个较大的问题：单个master宕机后，slave不会自动切换到master

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5rWB5rWq5aSn5Lq6_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/4f93681c1bdc4abd9eeaa4172efa4ab7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5rWB5rWq5aSn5Lq6,size_20,color_FFFFFF,t_70,g_se,x_16