【RocketMQ源码】二、NameServer 源码学习

た入场券 2023-02-26 04:25 22阅读 0赞

# 一、架构设计 #

## 1.1 消息中间件设计思路 ##

消息中间件的设计思路一般是基于主题订阅发布机制，即生产者发送某一个主题消息到服务器，消息服务器负责将消息持久化存储，消费者订阅感兴趣的主题，由服务器主动推送到消费者(Push模式)或消费者主动向消息服务器拉取(Pull模式)，从而实现生产者和消费者解耦。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70][]

## 1.2 NameServer 解决了什么 ##

### 1.2.1 存在的问题 ###

为了增加消息中间件的高可用性，避免消息服务器的单点故障导致整个系统瘫痪，通常会部署多台消息服务器共同承担消息的存储。那么问题随之而来：

*  消息生产者怎么知道消息要发送到哪台消息服务器呢？
 *  若某一台消息服务器宕机了，消息生产者如何动态感知呢？

NameServer 就是为了解决以上问题设计的

### 1.2.2 解决方式 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 1][]

NameServer 就像一个寻址表，负责 broker 地址的记录：

*  Broker 在启动时向所有存活的 NameServer 注册，NameServer 会记录当前这个 Broker 的 IP 地址等相关信息
 *  消息生产者在发送消息前，先从 NameServer 获取 Broker 服务器地址列表，然后根据负载均衡算法从列表中选择一台服务器进行发送消息
 *  NameServer 和每一个注册的 Broekr 都保持长连接，每隔 30s 检测 Broker 是否存活，若检测到 Broker 宕机，则从路由注册表中删除。为了降低 NameServer 实现的复杂度，路由变化不会马上通知消息生产者，而是通过消息发送端的容错起止保证消息发送的可用性
 *  NameServer 的高可用是通过部署多台 NameServer 实现的，但 NameServer 服务器彼此之间不通讯，即各个 NameServer 服务器之间在某一时刻的数据并不完全相同，可是这对消息的发送不会造成任何影响 (因为已记录的 broker 仍能接收消息)

# 二、源代码跟踪 #

## 2.1 启动流程分析 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 2][]

### 2.1.1 启动配置获取和加载 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 3][]

![20200714152033155.png][]

点进去可以看到这两个启动类的配置内容：

**NamesrvConfig: **

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 4][]

### 2.1.2 初始化方法 initialize ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 5][]

### 2.1.3 broker 扫描和移除 ###

查看初始化方法，在初始化方法中定义了定时器。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 7][]

继续往下看，看它是如何删除的

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 9][]

## 2.2 路由分析 ##

NameServer的主要作用是为消息的生产者和消息消费者提供关于主题Topic的路由信息，那么NameServer需要存储路由的基础信息，还要管理Broker节点，包括路由注册、路由删除等。

### 2.2.1 路由管理类 ###

路由管理类在创建 NamesrvController 的时候就被创建了

![20200714162521954.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 11][]

**2.2.1.1 topicQueueTable**

主要记录了有哪些broker有订阅当前的topic，同时记录了读队列和写队列(均默认4个)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 12][]

**2.2.1.2 brokerAddrTable**

主要记录在 nameserver 上注册了的 broker 的信息，包括名称、所属集群以及集群内的节点地址等

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 13][]

**2.2.1.3 clusterAddrTable**

主要记录了集群列表，以及集群中的成员名称

![20200714163218473.png][]

**2.2.1.4 brokerLiveTable**

brokerLiveTable 中记录了所有活跃的 broker 地址，最后接收到的心跳时间，连接通道等数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 14][]

### 2.2.2 路由注册流程 ###

路由注册是通过 Broker 与 NameServer 的心跳功能实现的。

*  Broker 启动时向所有的 NameSever 发送心跳信息，且每隔 30s 想集群中所有的 NameServer 发送心跳包，NameServer 收到心跳包时会更新 brokerLiveTable 缓存中对应的 broker 信息。
 *  NameServer 每隔 10s 会扫描 brokerLiveTable 表，若连续 2min 内没有收到心跳包，则会将这个 Broker 路由信息移除，并关闭连接

同时，由于 NameServer 之间是无状态的，这种设计也让新加入的 NameServer 节点能够快速与其他 NameServer 保持数据同步。

**2.2.2.1 Broker 定时上报信息**

*代码：BrokerController\#start*

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 15][]

**2.2.2.2 上报信息的代码解析**

*代码：BrokerOuterAPI\#registerBrokerAll*

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 16][]

**2.2.2.3 NameServer 处理心跳包**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 17][]

*代码：DefaultRequestProcessor\#processRequest*

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 18][]

继续往下跟进：

*代码：DefaultRequestProcessor\#registerBroker*

获取写锁，并开始写操作

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 19][]

### 2.2.3 路由删除流程 ###

路由删除有两个触发点：

*  NameServer 每隔 10s 会扫描 brokerLiveTable 上的所有 broker 节点，查看上次心跳包与系统时间差是否大于 120s， 若超过则认为这个 broker 不可用，移除这个 broker
 *  Broker 正常关闭的情况下，执行 unregisterBroker 指定，主动删除路由

**2.2.3.1 NameServer 扫描发现**

*代码：NamesrvController\#initialize*

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 20][]

*代码：RouteInfoManager\#scanNotActiveBroker*

在onChannelDestory中会维护各个表数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 21][]

### 2.2.4 路由发现 ###

路由发现并非实时的，即当 Topic 路由 发生变化，NameServer 不会主动推送给客户端，而是由客户端定时拉取主题最新的路由

*代码：DefaultRequestProcessor\#getRouteInfoByTopic*

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 22][]

## 2.3 小结 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 23][]

# 三、知识点 #

## 3.1 优雅地关闭线程池  ##

在 start 函数内，可以发现调用了 Runtime.getRuntime().addShutdownHook

public static NamesrvController start(final NamesrvController controller) throws Exception {
    
        if (null == controller) {
            throw new IllegalArgumentException("NamesrvController is null");
        }
    
        boolean initResult = controller.initialize();
        if (!initResult) {
            controller.shutdown();
            System.exit(-3);
        }
    
        // 设置钩子，在JVM进程关闭前会自动调用，先将线程池关闭，及时释放资源
        Runtime.getRuntime().addShutdownHook(new ShutdownHookThread(log, new Callable<Void>() {
            @Override
            public Void call() throws Exception {
                // 释放controller
                controller.shutdown();
                return null;
            }
        }));
    
        controller.start();
    
        return controller;
    }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70]: /images/20230209/6ab1b9db7063464c97908fa81d4179c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 1]: /images/20230209/8d7f9734d99e4d5fa96f96c6770e40ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 2]: /images/20230209/175dd6352f4a44148c614d4d91c52eb3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 3]: /images/20230209/d774b3aba85f44f1ae23bb40484e32de.png
[20200714152033155.png]: /images/20230209/30df613ba9154a3f859025ad85b48c5a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 4]: /images/20230209/99a312e57c794ba8802ef8ea2f65e83a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 5]: /images/20230209/a64799b8fb614734b5871eb232eb659a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 6]: /images/20230209/e2856683bb544a9d8618bf57c839259d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 7]: /images/20230209/b4479b8a841a4213b2be384c3281749c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 8]: /images/20230209/c4f0b3307963411c8bee328d7fea703e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 9]: /images/20230209/aea5760650ce4ebb8200c91b123de24b.png
[20200714162521954.png]: /images/20230209/2c1ef9201c7842f9a4bf4bcf6806478b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 10]: /images/20230209/131af154e30a464486456cf836af8c5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 11]: /images/20230209/701cc6d2c95749f9ba1fe973cff18535.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 12]: /images/20230209/6b78b989f1264e059737c551e6181997.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 13]: /images/20230209/0c0c35763f944a9ea4c47b5d38e80b0d.png
[20200714163218473.png]: /images/20230209/864f30fefe8545929d0538b76df974d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 14]: /images/20230209/68ed1f4d6ee14f89872addd9fe1cb92a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 15]: /images/20230209/bdf4910d634546f28686e14aaf8219df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 16]: /images/20230209/aef5e681fc0445a487d83058855ea713.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 17]: /images/20230209/8ac3402894504b1b8f91955c5b856840.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 18]: /images/20230209/b3297191c5324367ac60e0ff681e6f2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 19]: /images/20230209/3e49b11854e44d44b3b9a6ab021e79ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 20]: /images/20230209/21ee833951674f68a6930ae3dc74045c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 21]: /images/20230209/6652079b115c4591b450ef0a42128e56.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 22]: /images/20230209/a204881f081b41ff889912d6043dd6d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0NDE2MzMx_size_16_color_FFFFFF_t_70 23]: /images/20230209/631f457ed37f47ed9c38ee0f7aa39976.png