面试被问如何保证 RocketMQ 不丢失消息

曾经终败给现在 2023-10-03 10:29 67阅读 0赞

### 前言 ###

> 分析那几步会丢失，然后给出大致解决思路。

### 生产阶段 ###

生产者（Producer） 通过网络发送消息给 Broker，当 Broker 收到之后，将会返回确认响应信息给 Producer。所以生产者只要接收到返回的确认响应，就代表消息在生产阶段未丢失。

若网络问题导致发送失败。针对这种情况，我们可以设置合理的重试次数，当出现网络问题，可以自动重试。设置方式如下：

// 同步发送消息重试次数，默认为 2
    mqProducer.setRetryTimesWhenSendFailed(3);
    // 异步发送消息重试次数，默认为 2
    mqProducer.setRetryTimesWhenSendAsyncFailed(3);

### Broker 存储阶段 ###

默认情况下，消息只要到了 Broker 端，将会优先保存到内存中，然后立刻返回确认响应给生产者。随后 Broker 定期批量的将一组消息从内存异步刷入磁盘。

这种方式减少 I/O 次数，可以取得更好的性能，但是如果发生机器掉电，异常宕机等情况，消息还未及时刷入磁盘，就会出现丢失消息的情况。

若想保证 Broker 端不丢消息，保证消息的可靠性，我们需要将消息保存机制修改为同步刷盘方式，即消息存储磁盘成功，才会返回响应。

修改 Broker 端配置如下：

## 默认情况为 ASYNC_FLUSH 
    flushDiskType = SYNC_FLUSH

#### 集群部署 ####

为了保证可用性，Broker 通常采用一主（master）多从（slave）部署方式。为了保证消息不丢失，消息还需要复制到 slave 节点。

默认方式下，消息写入 master 成功，就可以返回确认响应给生产者，接着消息将会异步复制到 slave 节点。

此时若 master 突然宕机且不可恢复，那么还未复制到 slave 的消息将会丢失。

> 为了进一步提高消息的可靠性，我们可以采用同步的复制方式，master 节点将会同步等待 slave 节点复制完成，才会返回确认响应。

如下配置：

## master 节点配置
    flushDiskType = SYNC_FLUSH
    brokerRole=SYNC_MASTER
    
    ## slave 节点配置
    brokerRole=slave
    flushDiskType = SYNC_FLUSH

### 消费阶段 ###

> 如果 Broker 未收到消费确认响应或收到其他状态，消费者下次还会再次拉取到该条消息，进行重试。这样的方式有效避免了消费者消费过程发生异常，或者消息在网络传输中丢失的情况。

发表评论取消回复

表情：

评论列表（有 0 条评论，67人围观）

还没有评论，来说两句吧...

相关阅读

相关面试题：RocketMQ 如何保证消息不丢失，如何保证消息不被重复消费？

-------------------- 文章目录 1、消息整体处理过程 Producer发送消息阶段手段一：提供SYNC的发送

港控/mmm°/ 2024年03月02日 09:13/ 0 赞/ 149 阅读

相关消息投递：如何保证消息不丢失？

目录前言一、消息为什么会丢失？二、在消息生产的过程中丢失消息三、在消息队列中丢失消息四、在消费的过程中存在消息丢失的可能 ------------

布满荆棘的人生/ 2024年02月19日 07:57/ 0 赞/ 131 阅读

相关【MQ】Rocketmq如何保证消息不丢失

文章目录前言一、前言二、消息什么情况会丢失？三、如何保障消息不丢失？ 3.1、生产者端 3.2、Broker端

比眉伴天荒/ 2024年02月05日 14:19/ 0 赞/ 154 阅读

相关面试被问如何保证 RocketMQ 不丢失消息

前言 > 分析那几步会丢失，然后给出大致解决思路。生产阶段生产者（Producer）通过网络发送消息给 Broker，当 Broker 收到之后，将会返回确

曾经终败给现在/ 2023年10月03日 10:29/ 0 赞/ 68 阅读

相关面试官：RocketMQ 如何保证消息不丢失，如何保证消息不被重复消费？

1、消息整体处理过程 ![5befe477f897064066e42dc740a93ab8.png][] 这里我们将消息的整体处理阶段分为3个阶段进行分析： P

Love The Way You Lie/ 2023年09月28日 19:02/ 0 赞/ 123 阅读

相关如何保证RocketMQ消息不丢失

背景在金融系统中MQ消息的消息丢失是不允许的，消息的丢失会导致支付状态订单状态出现混乱。接下来聊一下如何保证MQ消息不丢失,以笔者公司使用的RocketMQ为例。

逃离我推掉我的手/ 2023年09月28日 08:52/ 0 赞/ 62 阅读

相关面试官问我如何保证Kafka不丢失消息?我哭了！

kafka如何保证不丢消息 ps:这篇文章自我感觉说的很大白话了！希望你们看过了之后能有收获。不了解 Kafka 的朋友建议先看一看我的下面这几篇文章，第一篇一定要看

向右看齐/ 2023年07月15日 11:06/ 0 赞/ 21 阅读

相关如何保证消息不丢失？

生产者丢失消息：如网络传输中丢失消息、MQ 发生异常未成功接收消息等情况。解决办法：主流的 MQ 都有确认或事务机制，可以保证生产者将消息送达到 MQ。如 Rabbi

约定不等于承诺〃/ 2023年02月13日 08:06/ 0 赞/ 14 阅读

相关 kafka如何保证消息不丢失不被重复消费

文章目录 [kafka如何保证消息不丢失不被重复消费][kafka] [消息的发送机制][Link 1] [消息的接

你的名字/ 2022年12月27日 14:01/ 0 赞/ 270 阅读

相关回答面试官：如何保证消息不丢失

> rocketmq是阿里开源的一个性能很强大的消息队列，很多公司都在用，而且经历了多次双十一的洗礼，支持多种特性对于这个技术点不知道大家掌握的如何了，消息队列现在应该是公

比眉伴天荒/ 2022年08月28日 02:58/ 0 赞/ 397 阅读