关于使用消息队列今天被面试官问倒了

素颜马尾好姑娘i 2023-10-04 21:00 29阅读 0赞

### 为什么使用消息队列 ###

> 其实就是问问你消息队列都有哪些使用场景，然后你项目里具体是什么场景，说说你在这个场景里用消息队列是什么？
> 
> 面试官问你这个问题，**期望的一个回答**是说，你们公司有个什么**业务场景**，这个业务场景有个什么技术挑战，如果不用 MQ 可能会很麻烦，但是你现在用了 MQ 之后带给了你很多的好处。

消息队列常见的使用场景其实有很多

但是比较核心的有 3 个：**解耦**、**异步**、**削峰**。

#### 解耦 ####

当前有这么一个场景：A 系统发送数据到 BCD 三个系统，通过**接口调用发送**。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃，对于该需求很难下手。

![format_png][]

在这个场景中，A 系统跟其它各种乱七八糟的系统严重耦合，A 系统产生一条比较关键的数据，很多系统都需要 A 系统将这个数据发送过来。

A 系统要时时刻刻考虑 BCDE 四个系统如果挂了该怎么办，要不要重发，要不要把消息存起来

如果使用 `MQ`，A 系统产生一条数据，发送到 `MQ` 里面去，哪个系统需要数据自己去 `MQ` 里面消费。

如果新系统需要数据，直接从 `MQ` 里消费即可；如果某个系统不需要这条数据了，就取消对 `MQ` 消息的消费即可。

这样下来，A 系统根本不需要去考虑要给谁发送数据，不需要维护这个代码，也不需要考虑人家是否调用成功、失败超时等情况。

总结

通过一个 `MQ`，`Pub/Sub` 发布订阅消息这么一个模型，A 系统就跟其它系统彻底解耦了。

面试技巧

你需要去考虑一下你负责的系统中是否有类似的场景，就是一个系统或者一个模块，调用了多个系统或者模块，互相之间的调用很复杂，维护起来很麻烦。

但是其实这个调用是不需要直接同步调用接口的，如果用 `MQ` 给它异步化解耦，也是可以的，你就需要去考虑在你的项目里，是不是可以运用这个 `MQ` 去进行系统的解耦。

在简历中体现出来这块东西，**用 `MQ` 作解耦**。

#### 异步 ####

再来看一个场景，A 系统接收一个请求，需要在自己本地写库，还需要在 BCD 三个系统写库，自己本地写库要 3ms，BCD 三个系统分别写库要 300ms、450ms、200ms。

最终请求总延时是 3 + 300 + 450 + 200 = 953ms，接近 1s，用户感觉搞个什么东西，慢死了慢死了。用户通过浏览器发起请求，等待个 1s，这几乎是不可接受的。

![format_png 1][]

一般互联网类的企业，对于用户直接的操作，一般要求是每个请求都必须在 200 ms 以内完成，对用户几乎是无感知的。

如果**使用 `MQ`**，那么 A 系统连续发送 3 条消息到 MQ 队列中，假如耗时 5ms，A 系统从接收一个请求到返回响应给用户，总时长是 3 + 5 = 8ms，对于用户而言，其实感觉上就是点个按钮，8ms 以后就直接返回了，爽！网站做得真好，真快！

![format_png 2][]

#### 削峰 ####

每天 0:00 到 12:00，A 系统风平浪静，每秒并发请求数量就 50 个。

结果每次一到 12:00 ~ 13:00 ，每秒并发请求数量突然会暴增到 5k+ 条。

但是系统是直接基于 `MySQL` 的，大量的请求涌入 `MySQL`，每秒钟对`MySQL`执行约 5k 条 `SQL`。

一般的 `MySQL`，扛到每秒 2k 个请求就差不多了，如果每秒请求到 5k 的话，可能就直接把 `MySQL` 给打死了，导致系统崩溃，用户也就没法再使用系统了。

但是高峰期一过，到了下午的时候，就成了低峰期，可能也就 1w 的用户同时在网站上操作，每秒中的请求数量可能也就 50 个请求，对整个系统几乎没有任何的压力。

![format_png 3][]

如果使用 `MQ`，每秒 5k 个请求写入 `MQ`，A 系统每秒钟最多处理 2k 个请求，因为 `MySQL` 每秒钟最多处理 2k 个。A 系统从 `MQ` 中慢慢拉取请求，每秒钟就拉取 2k 个请求，不要超过自己每秒能处理的最大请求数量就 足够了。

这样下来，哪怕是高峰期的时候，A 系统也绝对不会挂掉。

而`MQ` 每秒钟 5k 个请求进来，就 2k 个请求出去，结果就导致在中午高峰期（1 个小时），可能有几十万甚至几百万的请求积压在 `MQ` 中。

![format_png 4][]

这个短暂的高峰期积压是能够接收的，因为高峰期过了之后，每秒钟就 50 个请求进 `MQ`，但是 A 系统依然会按照每秒 2k 个请求的速度在处理。

所以说，只要高峰期一过，A 系统就会快速将积压的消息给解决掉。

### 消息队列有什么优缺点 ###

> 优点就是**在特殊场景下有其对应的好处**，**解耦**、**异步**、**削峰**。

缺点有以下几个：

*  系统可用性降低
    
    系统引入的外部依赖越多，越容易挂掉。本来你就是 A 系统调用 BCD 三个系统的接口就好了，ABCD 四个系统还好好的，没啥问题，你偏加个 `MQ` 进来，万一 `MQ` 挂了怎么办
    
    `MQ` 一挂，整套系统崩溃，不就完了。这时便出现了保证消息队列的高可用。
 *  系统复杂度提高
    
    硬生生加个 `MQ` 进来，怎么保证消息没有重复消费？如何处理消息丢失的情况？怎么保证消息传递的顺序性？
 *  一致性问题
    
    A 系统处理完了直接返回成功了，人都以为你这个请求就成功了；但是问题是，要是 BCD 三个系统那里，BD 两个系统写库成功了，结果 C 系统写库失败了，怎么办？数据就不一致了。
    
    所以消息队列实际是一种非常复杂的架构，你引入它有很多好处，但是也得针对它带来的坏处做各种额外的技术方案和架构来规避掉，做好之后会发现系统复杂度提升了一个数量级，也许是复杂了 10 倍。但是关键时刻，用还是得用的。

### `Kafka、ActiveMQ、RabbitMQ、RocketMQ` 有什么优缺点 ###

<table> 
 <thead> 
  <tr> 
   <th>特性</th> 
   <th><code>ActiveMQ</code></th> 
   <th><code>RabbitMQ</code></th> 
   <th><code>RocketMQ</code></th> 
   <th><code>Kafka</code></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>单机吞吐量</td> 
   <td>万级，比&nbsp;<code>RocketMQ</code>、<code>Kafka</code>&nbsp;低一个数量级</td> 
   <td>同&nbsp;<code>ActiveMQ</code></td> 
   <td>10 万级，支撑高吞吐</td> 
   <td>10 万级，高吞吐，一般配合大数据类的系统来进行实时数据计算、日志采集等场景</td> 
  </tr> 
  <tr> 
   <td>topic 数量对吞吐量的影响</td> 
   <td></td> 
   <td></td> 
   <td>topic 可以达到几百/几千的级别，吞吐量会有较小幅度的下降，这是&nbsp;<code>RocketMQ</code>&nbsp;的一大优势，在同等机器下，可以支撑大量的 topic</td> 
   <td>topic 从几十到几百个时候，吞吐量会大幅度下降，在同等机器下，<code>Kafka</code>&nbsp;尽量保证 topic 数量不要过多，如果要支撑大规模的 topic，需要增加更多的机器资源</td> 
  </tr> 
  <tr> 
   <td>时效性</td> 
   <td>ms 级</td> 
   <td>微秒级，这是&nbsp;<code>RabbitMQ</code>&nbsp;的一大特点，延迟最低</td> 
   <td>ms 级</td> 
   <td>延迟在 ms 级以内</td> 
  </tr> 
  <tr> 
   <td>可用性</td> 
   <td>高，基于主从架构实现高可用</td> 
   <td>同&nbsp;<code>ActiveMQ</code></td> 
   <td>非常高，分布式架构</td> 
   <td>非常高，分布式，一个数据多个副本，少数机器宕机，不会丢失数据，不会导致不可用</td> 
  </tr> 
  <tr> 
   <td>消息可靠性</td> 
   <td>有较低的概率丢失数据</td> 
   <td>基本不丢</td> 
   <td>经过参数优化配置，可以做到 0 丢失</td> 
   <td>同&nbsp;<code>RocketMQ</code></td> 
  </tr> 
  <tr> 
   <td>功能支持</td> 
   <td><code>MQ</code>&nbsp;领域的功能极其完备</td> 
   <td>基于&nbsp;<code>erlang</code>&nbsp;开发，并发能力很强，性能极好，延时很低</td> 
   <td><code>MQ</code>&nbsp;功能较为完善，还是分布式的，扩展性好</td> 
   <td>功能较为简单，主要支持简单的&nbsp;<code>MQ</code>&nbsp;功能，在大数据领域的实时计算以及日志采集被大规模使用</td> 
  </tr> 
 </tbody> 
</table>

综上，各种对比之后，可以发现：

一般的业务系统要引入 `MQ`，最早大家都用 `ActiveMQ`，但是现在确实大家用的不多了，没经过大规模吞吐量场景的验证，社区也不是很活跃。

后来大家开始用 `RabbitMQ`，但是确实 `erlang` 语言阻止了大量的 Java 工程师去深入研究和掌控它，对公司而言，几乎处于不可控的状态，但是是开源的，比较稳定的支持，活跃度也高。

不过现在确实越来越多的公司会去用 `RocketMQ`，确实很不错，毕竟是阿里出品。

所以**中小型公司**，技术实力较为一般，技术挑战不是特别高，用 `RabbitMQ` 是不错的选择；

**大型公司**，基础架构研发实力较强，用 `RocketMQ` 是很好的选择。

如果是**大数据领域**的实时计算、日志采集等场景，用 `Kafka` 是业内标准的，绝对没问题，社区活跃度很高，绝对不会黄，何况几乎是全世界这个领域的事实性规范。

[format_png]: https://img-blog.csdnimg.cn/img_convert/cf45a59139ea785230d0e401ec7e476d.webp?x-oss-process=image/format,png
[format_png 1]: https://img-blog.csdnimg.cn/img_convert/1ee1057c70adaded3dbb0e0f1f7b649f.webp?x-oss-process=image/format,png
[format_png 2]: https://img-blog.csdnimg.cn/img_convert/ee1914d6ad9a1d72560195f78a545f2c.webp?x-oss-process=image/format,png
[format_png 3]: https://img-blog.csdnimg.cn/img_convert/21ec2bfdaa04d5f8501c6a93bda7aeb6.webp?x-oss-process=image/format,png
[format_png 4]: https://img-blog.csdnimg.cn/img_convert/a1ab1ac71cd4c324f62bbff96ee68766.webp?x-oss-process=image/format,png