MQTT - 消息队列遥测传输协议

你的名字 2023-09-28 15:40 43阅读 0赞

**MQTT**（**Message Queuing Telemetry Transport**，**消息队列遥测传输协议**），是一种基于发布/订阅（publish/subscribe）模式的"轻量级"通讯协议，该协议构建于TCP/IP协议上，由IBM在1999年发布。MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议，使其在物联网、小型设备、移动应用等方面有较广泛的应用。

MQTT是一个基于客户端-服务器的消息发布/订阅传输协议。MQTT协议是轻量、简单、开放和易于实现的。

#### GitHub地址：   [GitHub - mcxiaoke/mqtt: MQTT协议3.1.1中文翻译版，IoT，物联网][GitHub - mcxiaoke_mqtt_ MQTT_3.1.1_IoT] ####

发布订阅模式是传统 Client/Server 模式的一种解耦方案。发布者通过 Broker 与消费者之间通信，Broker 的作用是将收到的消息通过某种`过滤规则（Topic）`，正确地发送给消费者。发布/订阅模式 相对于 客户端/服务器模式 的好处在于：

1、发布者和消费者之间不必预先知道对方的存在，比如不需要预先沟通对方的 IP Address 和 Port

2、发布者和消费者之间不必同时运行。因为 Broker 是一直运行的

在 MQTT 协议里，`过滤规则` 是 `Topic`。如：所有发布到 `news` 这个 Topic 的消息，都会被 Broker 转发给已经订阅了 `news` 的订阅者

![a461d0e1f4f16d4764af77cc250f1c12.png][]

订阅者预先订阅了 `news`，然后发布者向 Broker 发布了一条消息 "some msg" 并指定发布到 `news` 主题，Broker 通过 Topic 匹配，决定将这条消息转发给订阅者

##  ##

## 一、MQTT协议原理 ##

### 1、MQTT协议实现方式 ###

实现MQTT协议需要客户端和服务器端通讯完成，在通讯过程中，MQTT协议中有三种身份：发布者（Publish）、代理（Broker）（服务器）、订阅者（Subscribe）。其中，消息的发布者和订阅者都是客户端，消息代理是服务器，消息发布者可以同时是订阅者。

MQTT传输的消息分为：主题（Topic）和负载（payload）两部分：

（1）Topic，可以理解为消息的类型，订阅者订阅（Subscribe）后，就会收到该主题的消息内容（payload）；

（2）payload，可以理解为消息的内容，是指订阅者具体要使用的内容。

### 2、网络传输与应用消息 ###

MQTT会构建底层网络传输：它将建立客户端到服务器的连接，提供两者之间的一个有序的、无损的、基于字节流的双向传输。

当应用数据通过MQTT网络发送时，MQTT会把与之相关的服务质量（QoS）和主题名（Topic）相关连。

### 3、MQTT客户端 ###

一个使用MQTT协议的应用程序或者设备，它总是建立到服务器的网络连接。客户端可以：

（1）发布其他客户端可能会订阅的信息；

（2）订阅其它客户端发布的消息；

（3）退订或删除应用程序的消息；

（4）断开与服务器连接。

### 4、MQTT服务器 ###

MQTT服务器以称为"消息代理"（Broker），可以是一个应用程序或一台设备。它是位于消息发布者和订阅者之间，它可以：

（1）接受来自客户的网络连接；

（2）接受客户发布的应用信息；

（3）处理来自客户端的订阅和退订请求；

（4）向订阅的客户转发应用程序消息。

### 5、MQTT协议中的订阅、主题、会话 ###

#### 一、订阅（Subscription） ####

订阅包含主题筛选器（Topic Filter）和最大服务质量（QoS）。订阅会与一个会话（Session）关联。一个会话可以包含多个订阅。每一个会话中的每个订阅都有一个不同的主题筛选器。

#### 二、会话（Session） ####

每个客户端与服务器建立连接后就是一个会话，客户端和服务器之间有状态交互。会话存在于一个网络之间，也可能在客户端和服务器之间跨越多个连续的网络连接。

#### 三、主题名（Topic Name） ####

连接到一个应用程序消息的标签，该标签与服务器的订阅相匹配。服务器会将消息发送给订阅所匹配标签的每个客户端

> MQTT 的 Topic 有层级结构，并且支持通配符 + 和 \#:
> 
> \+是匹配单层的通配符。比如 news/+ 可以匹配 news/sports，news/+/basketball 可匹配到 news/sports/basketball  
> \# 是一到多层的通配符。比如 news/\# 可以匹配 news、 news/sports、news/sports/basketball 以及 news/sports/basketball/x 等等

MQTT 的主题是不要预先创建的，发布者发送消息到某个主题、或者订阅者订阅某个主题的时候，Broker 就会自动创建这个主题

#### 四、主题筛选器（Topic Filter） ####

一个对主题名通配符筛选器，在订阅表达式中使用，表示订阅所匹配到的多个主题。

#### 五、负载（Payload） ####

消息订阅者所具体接收的内容。

### 6、MQTT协议中的方法 ###

MQTT协议中定义了一些方法（也被称为动作），来于表示对确定资源所进行操作。这个资源可以代表预先存在的数据或动态生成数据，这取决于服务器的实现。通常来说，资源指服务器上的文件或输出。主要方法有：

（1）**Connect**。等待与服务器建立连接。

（2）**Disconnect**。等待MQTT客户端完成所做的工作，并与服务器断开TCP/IP会话。

（3）**Subscribe**。等待完成订阅。

（4）**UnSubscribe**。等待服务器取消客户端的一个或多个topics订阅。

（5）**Publish**。MQTT客户端发送消息请求，发送完成后返回应用程序线程。

## 二、MQTT协议数据包结构 ##

在MQTT协议中，一个MQTT数据包由：固定头（Fixed header）、可变头（Variable header）、消息体（payload）三部分构成。MQTT数据包结构如下：

（1）固定头（Fixed header）。存在于所有MQTT数据包中，表示数据包类型及数据包的分组类标识。

（2）可变头（Variable header）。存在于部分MQTT数据包中，数据包类型决定了可变头是否存在及其具体内容。

（3）消息体（Payload）。存在于部分MQTT数据包中，表示客户端收到的具体内容

整体MQTT的消息格式如下图所示

![65752c7cd3c441459162fb1cce5e7355.png][]

#### 1、MQTT固定头 ####

固定头存在于所有MQTT数据包中，其结构如下：

![8e2740ce5fd147538ac72b7f295255b1.png][]

#### 1.1、MQTT数据包类型 ####

位置：\*\*byte 1, bits 7-4

相于一个4位的无符号值，类型、取值及描述如下：

![b16750f8b9a54c68ac6ed3a7d9db515b.png][]

#### 1.2、标识位/ DUP ####

位置：\*\*byte 1, bits 3-0

在不使用标识位的消息类型中，标识位被作为保留位。如果收到无效的标志时，接收端必须关闭网络连接：

![1f8faf7834434f06881a4c0e28c82edc.png][]

（1）DUP：发布消息的副本。用来在保证消息的可靠传输，如果设置为1，则在下面的变长中增加MessageId，并且需要回复确认，以保证消息传输完成，但不能用于检测消息重复发送。

（2）**QoS**：发布消息的服务质量，即：保证消息传递的次数

> QoS等级主要有3个等级QoS1、QoS2、QoS3
> 
>  *  QoS0：**最多一次**。应用层表现为最多收到一次消息。底层只依赖于系统协议栈TCP的传输，服务端不缓存应用消息，如果socket断开则消息丢失。QoS0与直接使用TCP的效果一致。
>  *  QoS1：**最少一次**。应用层表现为收到一次消息或者收到多次相同的消息。在TCP的基础上增加消息确认机制，服务端缓存应用消息，在收到应用消息的**PUBACK**报文之前，会一直尝试重连和重传。
>  *  QoS2：**必定一次**。应用层表现为必定只收到一次消息，在TCP的基础上增加消息的三步确认机制，服务端缓存应用消息，同时增加序号管理，相比QoS1应用层不会出现收到多次相同的消息的情况，但是会占用更多的内存和带宽

Ø00：最多一次，即：<=1
     
    Ø01：至少一次，即：>=1
     
    Ø10：一次，即：=1
     
    Ø11：预留

> QoS1和Qos2确保消息到达的前提是会话没有断开。当内存不足或软硬件异常发生时，服务端可能会断开会话，清空会话状态。（MQTT v5.0 版本，增加了会话断开超时选项，允许服务端主动终止长时间网络断开的会话）

（3）RETAIN： 发布保留标识，表示服务器要保留这次推送的信息，如果有新的订阅者出现，就把这消息推送给它，如果设有那么推送至当前订阅者后释放。

#### 1.3 剩余长度（Remaining Length） ####

地址：Byte 2。

固定头的第二字节用来保存变长头部和消息体的总大小的，但不是直接保存的。这一字节是可以扩展，其保存机制，前7位用于保存长度，后一部用做标识。当最后一位为1时，表示长度不足，需要使用二个字节继续保存。例如：计算出后面的大小为0

#### 2、MQTT可变头 ####

MQTT数据包中包含一个可变头，它驻位于固定的头和负载之间。可变头的内容因数据包类型而不同，较常的应用是作为包的标识：

![ed4c907dc2a348b78486fe992331fd6c.png][]很多类型数据包中都包括一个2字节的数据包标识字段，这些类型的包有：

PUBLISH (QoS > 0)、PUBACK、PUBREC、PUBREL、PUBCOMP、SUBSCRIBE、SUBACK、UNSUBSCRIBE、UNSUBACK。

#### 3、Payload消息体 ####

Payload消息体位MQTT数据包的第三部分，包含CONNECT、SUBSCRIBE、SUBACK、UNSUBSCRIBE四种类型的消息：

（1）CONNECT，消息体内容主要是：客户端的ClientID、订阅的Topic、Message以及用户名和密码。

（2）SUBSCRIBE，消息体内容是一系列的要订阅的主题以及QoS。

（3）SUBACK，消息体内容是服务器对于SUBSCRIBE所申请的主题及QoS进行确认和回复。

（4）UNSUBSCRIBE，消息体内容是要订阅的主题

MQTT 的主要消息类型有：

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <th>项目</th> 
   <th>值</th> 
   <th>报文流动方向</th> 
   <th>描述</th> 
  </tr> 
  <tr> 
   <td>CONNECT</td> 
   <td>1</td> 
   <td>客户端到服务端</td> 
   <td>客户端请求连接服务端</td> 
  </tr> 
  <tr> 
   <td>CONNACK</td> 
   <td>2</td> 
   <td>服务端到客户端</td> 
   <td>连接报文确认</td> 
  </tr> 
  <tr> 
   <td>PUBLISH</td> 
   <td>3</td> 
   <td>两个方向都允许</td> 
   <td>发布消息</td> 
  </tr> 
  <tr> 
   <td>PUBACK</td> 
   <td>4</td> 
   <td>两个方向都允许</td> 
   <td>QoS 1消息发布收到确认</td> 
  </tr> 
  <tr> 
   <td>PUBREC</td> 
   <td>5</td> 
   <td>两个方向都允许</td> 
   <td>发布收到（保证交付第一步）</td> 
  </tr> 
  <tr> 
   <td>PUBREL</td> 
   <td>6</td> 
   <td>两个方向都允许</td> 
   <td>发布释放（保证交付第二步）</td> 
  </tr> 
  <tr> 
   <td>PUBCOMP</td> 
   <td>7</td> 
   <td>两个方向都允许</td> 
   <td>QoS 2消息发布完成（保证交互第三步）</td> 
  </tr> 
  <tr> 
   <td>SUBSCRIBE</td> 
   <td>8</td> 
   <td>客户端到服务端</td> 
   <td>客户端订阅请求</td> 
  </tr> 
  <tr> 
   <td>SUBACK</td> 
   <td>9</td> 
   <td>服务端到客户端</td> 
   <td>订阅请求报文确认</td> 
  </tr> 
  <tr> 
   <td>UNSUBSCRIBE</td> 
   <td>10</td> 
   <td>客户端到服务端</td> 
   <td>客户端取消订阅请求</td> 
  </tr> 
  <tr> 
   <td>UNSUBACK</td> 
   <td>11</td> 
   <td>服务端到客户端</td> 
   <td>取消订阅报文确认</td> 
  </tr> 
  <tr> 
   <td>PINGREQ</td> 
   <td>12</td> 
   <td>客户端到服务端</td> 
   <td>心跳请求</td> 
  </tr> 
  <tr> 
   <td>PINGRESP</td> 
   <td>13</td> 
   <td>服务端到客户端</td> 
   <td>心跳响应</td> 
  </tr> 
  <tr> 
   <td>DISCONNECT</td> 
   <td>14</td> 
   <td>客户端到服务端</td> 
   <td>客户端断开连接</td> 
  </tr> 
 </tbody> 
</table>

其中0、15作为保留值, PINGREQ / PINGRESP 和 DISCONNECT 报文是不需要可变头部的，也没有 Payload，也就是说它们的报文大小仅仅消耗 2 个字节

## 三、MQTT与消息队列的区别 ##

1、MQTT 并不要求发布或者订阅之前显式地创建主题，唯一可能造成的不良影响是客户端可能使用错误的主题而不自知，但显然灵活部署带来的收益更高

2、消息队列主要用于服务端应用之间的消息存储与转发，这类场景往往数据量大但接入量少，而 MQTT 面向的是 IoT 领域和移动互联网领域，这类场景的侧重点是海量的设备接入、管理与消息传输

代理作为发布订阅模式的关键角色，它需要准确、高效地向订阅者转发其期望的消息，一般来说，比较常用的有以下两种方式：

1、根据主题。订阅者向代理订阅自己感兴趣的主题，发布者发布的所有消息中都会包含自己的主题，代理根据消息的主题判断需要将消息转发给哪些订阅者

2、根据消息内容。订阅者定义其感兴趣的消息的条件，只有当消息的属性或内容满足订阅者定义的条件时，消息才会被投递到该订阅者。严格来讲，主题也可以算是消息内容的一种

### 开源 MQTT 服务器如何选择 ###

到目前为止，比较流行的开源 MQTT 服务器有几个：

1.  [Eclipse Mosquitto][]
    
    使用 C 语言实现的 MQTT 服务器。Eclipse 组织还还包含了大量的 MQTT 客户端项目：[Eclipse Paho | The Eclipse Foundation][Eclipse Paho _ The Eclipse Foundation]
2.  [EMQX][]
    
    使用 Erlang 语言开发的 MQTT 服务器，内置强大的规则引擎，支持许多其他 IoT 协议比如 MQTT-SN、 CoAP、LwM2M 等。
3.  [Mosca][]
    
    使用 Node.JS 开发的 MQTT 服务器，简单易用。
4.  [VerneMQ][]
    
    同样使用 Erlang 开发的 MQTT 服务器.

[GitHub - mcxiaoke_mqtt_ MQTT_3.1.1_IoT]: https://github.com/mcxiaoke/mqtt
[a461d0e1f4f16d4764af77cc250f1c12.png]: https://img-blog.csdnimg.cn/img_convert/a461d0e1f4f16d4764af77cc250f1c12.png
[65752c7cd3c441459162fb1cce5e7355.png]: https://img-blog.csdnimg.cn/65752c7cd3c441459162fb1cce5e7355.png
[8e2740ce5fd147538ac72b7f295255b1.png]: https://img-blog.csdnimg.cn/8e2740ce5fd147538ac72b7f295255b1.png
[b16750f8b9a54c68ac6ed3a7d9db515b.png]: https://img-blog.csdnimg.cn/b16750f8b9a54c68ac6ed3a7d9db515b.png
[1f8faf7834434f06881a4c0e28c82edc.png]: https://img-blog.csdnimg.cn/1f8faf7834434f06881a4c0e28c82edc.png
[ed4c907dc2a348b78486fe992331fd6c.png]: https://img-blog.csdnimg.cn/ed4c907dc2a348b78486fe992331fd6c.png
[Eclipse Mosquitto]: https://github.com/eclipse/mosquitto
[Eclipse Paho _ The Eclipse Foundation]: https://www.eclipse.org/paho/#
[EMQX]: https://github.com/emqx/emqx
[Mosca]: https://github.com/mcollina/mosca
[VerneMQ]: https://github.com/vernemq/vernemq