『NLP学习笔记』Transformer技术详细介绍！

太过爱你忘了你带给我的痛 2022-09-16 12:29 512阅读 0赞

<table> 
 <tbody> 
  <tr> 
   <td><font>Transformer技术详细介绍！ </font></td> 
  </tr> 
 </tbody> 
</table>

### 文章目录 ###

*  一. 整体结构图
 *  二. 输入部分
 *   *  2.1. 词向量
     *  2.2. 位置编码
 *  三. 注意力机制
 *   *  3.1. 注意力机制的本质
     *  3.2. 举例说明
     *  3.3. Transformer中的注意力
 *  四. 残差和layerNormal
 *   *  4.1. Layer Normalization
 *  五. 前馈神经网络
 *  六. Decoder
 *   *  6.1. 掩盖多头注意力机制
     *  6.2. 交互层
 *  七. 参考

# 一. 整体结构图 #

>  *  TRM在做一个什么事情？

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16][]

>  *  细化

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

>  *  再细化

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

>  *  原论文图：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

>  *  **单个Encoder可以分为如下3个部分**：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 4][]

# 二. 输入部分 #

>  *  **首先说输入部分**： **1. Embedding；2. 位置嵌入。** **两者相加，如下图所示**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 5][]

## 2.1. 词向量 ##

>  *  **例如**：下面的4个英文单词，经过Word2Vec分别得到的词向量长度是4。

![4233ce59f7e54ee6bf3aaf82765798ee.png][]

>  *  **再比如** ：输入是 `我爱你......12个字`，我按字切分，每个字定义一个**512维度的字向量(原论文就是512)**，对于字向量这里可以使用Word2Vec或者随机初始化 `[如果数据量非常大，这2个差别不大，可以忽略]`。下面的词向量长度就是512。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 6][]

## 2.2. 位置编码 ##

>  *  从RNN说下为什么需要位置编码，对于RNN的一个共识，但是很多人会忽略。**RNN的参数U，输入参数W，隐层参数V，输出参数**。这是一套参数，所有RNN的time steps都共享一套参数(例如有100个词，100个字都是一套参数)。为了更好的理解，按照时间线展开，比如输入我爱你。RNN这种展开的结构，天然的时序关系很符合的，先处理某些东西，后处理某些东西。但是对于Transformer来讲，看刚才的图，**多头注意力机制那里，处理的时候是可以并行的**，一句话所有单词可以同时处理。不是像RNN输入一个我等处理完我再处理爱…。Transformer是一起处理的，这样做增快了速度，但是忽略了单词之间的序列关系，或者说先后关系。
>  *  **所以Transformer相比于RNN就缺少了某种东西，告诉模型某些我是在前面的，你是在后面的，爱是在中间的。**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 7][]

>  *  **原论文位置编码公式：** 如何理解呢？pos单词或者字的位置  **2 i 2i 2i 代表偶数位， 2 i + 1 2i+1 2i\+1 代表奇数位**。它如果针对512个维度的位置编码(下图)。  
>      PE ( pos , 2 i ) = sin ⁡ ( pos 1000 0 2 i / d model ) (1) \\begin\{aligned\} \\text \{PE\}\_\{(\\text \{pos\}, 2 i)\} &=\\sin \\left(\\frac\{\\text \{pos\} \}\{10000^\{2 i / d\_\{\\text \{model \}\}\}\}\\right)\\tag\{1\} \\end\{aligned\} PE(pos,2i)=sin(100002i/dmodel pos)(1)  PE ( pos , 2 i + 1 ) = cos ⁡ ( pos 1000 0 2 i / d model ) (2) \\begin\{aligned\} \\text \{PE\}\_\{(\\text \{pos\}, 2 i+1)\} &=\\cos \\left(\\frac\{\\text \{pos\} \}\{10000^\{2 i / d\_\{\\text \{model \}\}\}\}\\right)\\tag\{2\} \\end\{aligned\} PE(pos,2i\+1)=cos(100002i/dmodel pos)(2)
>  *  其中 pos表示**某个词在句子序列中的实际位置**， **i i i 表示词向量的第  i i i 个维度**， d m o d e l d\_\{model\} dmodel是位置向量的维度

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 8][]

>  *  **得到上面的位置编码之后：** 我们将位置编码512维度和词向量512维度或者字向量512维度相加，得到的结果作为最终Transformer的输入。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 9][]

>  *  **这里还想引申一下为什么位置嵌入会有用，** 公式2可以利用三角函数的性质得到公式3。注意看公式3，我们依第1行为例，比如pos位置代表我，pos+k代表你，k代表爱。也就是我爱你中的你可以用pos我和k爱两者线性组合起来，**这样的线性组合意味着位置向量中蕴含了相对位置信息**。但还有一个注意的点，**这种相对位置信息会在注意力机制那里消失**。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 10][]

# 三. 注意力机制 #

## 3.1. 注意力机制的本质 ##

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 11][]

>  *  **Transformer原论文中注意力机制的公式**：  
>      Attention ⁡ ( Q , K , V ) = softmax ⁡ ( Q K ⊤ d k ) V (3) \\operatorname\{Attention\}(\\boldsymbol Q, \\boldsymbol K, \\boldsymbol V)=\\operatorname\{softmax\}\\left(\\frac\{\\boldsymbol Q \\boldsymbol K^\{\\top\}\}\{\\sqrt\{d\_\{k\}\}\}\\right) \\boldsymbol V\\tag\{3\} Attention(Q,K,V)=softmax(dkQK⊤)V(3)
>  *  其中  Q , K , V \\boldsymbol \{Q, K, V\} Q,K,V 是3个矩阵(向量)，首先  Q 和 K \\boldsymbol \{Q 和 K\} Q和K 先做一个点乘，softmax经过之后得到的是一个相似度的向量，再乘以 V \\boldsymbol V V 矩阵得到一个加权和。

## 3.2. 举例说明 ##

>  *  **举例子说明：** 首先query和key做点乘(这里说一下为什么做点乘，其实做相似度计算有3种方式：点乘、MLP多层网络、余弦相似度)。单独说一下点乘，它反应的是一个向量在另一个向量上投影的长度， a ∙ b = ∣ a ∥ b ∣ cos ⁡ θ a \\bullet b=|a \\| b| \\cos \\theta a∙b=∣a∥b∣cosθ，**也就是两个向量越相似它的点乘结果就越大**。
>  *  这里例子中婴儿和左上、左下、右上、右下点乘之后，要判断是婴儿和这4个区域哪一个点乘结果越大，说明越相似，就是越关注。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 12][]

>  *  **NLP中的例子：** 这里输入的Query是爱，输入的是我不爱你4个key1、key2、key3、key4向量，Value1、Value2、Value3、Value4是对应的向量。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 13][]

>  *  具体如下：首先计算query爱和我、不、爱、你4个key向量计算F函数(就是刚才说的3种相似性方法，这里是点乘)、得到结果s1、s2、s3、s4，然后做一个softmax函数归一化，得到a1、a2、a3、a4，它们结果是相似度，比如0.7、0.1、0.1、0.1，结果相加为1。
>  *  注意看value上面的箭头，先和a相乘，再相加一起得到attention value。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 14][]

## 3.3. Transformer中的注意力 ##

>  *  比如现在**Thinking和Machines两个词，对应的向量是  x 1 \\boldsymbol x\_1 x1 和  x 2 \\boldsymbol x\_2 x2**，当然是加上位置编码之后的向量(4维)。如何获取到  Q , K , V \\boldsymbol \{Q, K, V\} Q,K,V 这3个向量，很简单：
>  *   x 1 \\boldsymbol x\_1 x1 乘以一个 W Q \\boldsymbol W^Q WQ 的矩阵得到  q 1 \\boldsymbol q\_1 q1； x 1 \\boldsymbol x\_1 x1 乘以一个 W K \\boldsymbol W^K WK 的矩阵得到  k 1 \\boldsymbol k\_1 k1； x 1 \\boldsymbol x\_1 x1 以一个 W V \\boldsymbol W^V WV 的矩阵得到  v 1 \\boldsymbol v\_1 v1：  
>      q 1 = x 1 W Q , ( x 1 ∈ R 1 × E × W Q ∈ R E × H ⇒ Q ∈ R 1 × H ) k 1 = x 1 W K , ( x 1 ∈ R 1 × E × W K ∈ R E × H ⇒ K ∈ R 1 × H ) v 1 = x 1 W V , ( x 1 ∈ R 1 × E × W V ∈ R E × H ⇒ V ∈ R 1 × H ) (4) \\begin\{aligned\} \\boldsymbol q\_1 &=\\boldsymbol x\_1 \\boldsymbol\{W\}^\{Q\}, \\left(\\boldsymbol x\_1\\in \\mathbb\{R\}^\{1 \\times E\}\\times \\boldsymbol\{W\}^\{Q\} \\in \\mathbb\{R\}^\{E \\times H\} \\Rightarrow \\boldsymbol\{Q\} \\in \\mathbb\{R\}^\{ 1 \\times H\}\\right) \\\\ \\boldsymbol k\_1 &=\\boldsymbol x\_1 \\boldsymbol\{W\}^\{K\}, \\left(\\boldsymbol x\_1\\in \\mathbb\{R\}^\{1 \\times E\}\\times \\boldsymbol\{W\}^\{K\} \\in \\mathbb\{R\}^\{E \\times H\} \\Rightarrow \\boldsymbol\{K\} \\in \\mathbb\{R\}^\{1 \\times H\}\\right) \\\\ \\boldsymbol v\_1 &=\\boldsymbol x\_1 \\boldsymbol\{W\}^\{V\}, \\left(\\boldsymbol x\_1\\in \\mathbb\{R\}^\{1 \\times E\}\\times \\boldsymbol\{W\}^\{V\} \\in \\mathbb\{R\}^\{E \\times H\} \\Rightarrow \\boldsymbol\{V\} \\in \\mathbb\{R\}^\{1 \\times H\}\\right)\\tag\{4\} \\end\{aligned\} q1k1v1=x1WQ,(x1∈R1×E×WQ∈RE×H⇒Q∈R1×H)=x1WK,(x1∈R1×E×WK∈RE×H⇒K∈R1×H)=x1WV,(x1∈R1×E×WV∈RE×H⇒V∈R1×H)(4) 其中每个词的Embedding 的维度为 E E E(也就是这里的4)，每个注意力头的输出维度为 H H H(也就是这里的3)。
>  *  同理：使用的是同一套参数，相应的  X 2 \\boldsymbol X\_2 X2 也是一样，如下：  
>      q 2 = x 2 W Q , ( x 2 ∈ R 1 × E × W Q ∈ R E × H ⇒ Q ∈ R 1 × H ) k 2 = x 2 W K , ( x 2 ∈ R 1 × E × W K ∈ R E × H ⇒ K ∈ R 1 × H ) v 2 = x 2 W V , ( x 2 ∈ R 1 × E × W V ∈ R E × H ⇒ V ∈ R 1 × H ) (5) \\begin\{aligned\} \\boldsymbol q\_2 &=\\boldsymbol x\_2 \\boldsymbol\{W\}^\{Q\}, \\left(\\boldsymbol x\_2 \\in \\mathbb\{R\}^\{1 \\times E\}\\times \\boldsymbol\{W\}^\{Q\} \\in \\mathbb\{R\}^\{E \\times H\} \\Rightarrow \\boldsymbol\{Q\} \\in \\mathbb\{R\}^\{ 1 \\times H\}\\right) \\\\ \\boldsymbol k\_2 &=\\boldsymbol x\_2 \\boldsymbol\{W\}^\{K\}, \\left(\\boldsymbol x\_2 \\in \\mathbb\{R\}^\{1 \\times E\}\\times \\boldsymbol\{W\}^\{K\} \\in \\mathbb\{R\}^\{E \\times H\} \\Rightarrow \\boldsymbol\{K\} \\in \\mathbb\{R\}^\{1 \\times H\}\\right) \\\\ \\boldsymbol v\_2 &=\\boldsymbol x\_2 \\boldsymbol\{W\}^\{V\}, \\left(\\boldsymbol x\_2 \\in \\mathbb\{R\}^\{1 \\times E\}\\times \\boldsymbol\{W\}^\{V\} \\in \\mathbb\{R\}^\{E \\times H\} \\Rightarrow \\boldsymbol\{V\} \\in \\mathbb\{R\}^\{1 \\times H\}\\right)\\tag\{5\} \\end\{aligned\} q2k2v2=x2WQ,(x2∈R1×E×WQ∈RE×H⇒Q∈R1×H)=x2WK,(x2∈R1×E×WK∈RE×H⇒K∈R1×H)=x2WV,(x2∈R1×E×WV∈RE×H⇒V∈R1×H)(5)

>  *  **为了并行化处理**： 用矩阵  X \\boldsymbol X X 表示向量  x 1 , x 2 \\boldsymbol x\_1, \\boldsymbol x\_2 x1,x2 按行组成的矩阵，维度是  X ∈ R 2 × E \\boldsymbol X \\in \\mathbb\{R\}^\{ 2 \\times E\} X∈R2×E(下图中  E = 4 E=4 E=4)。  
>      Q = X W Q , ( X ∈ R 2 × E × W Q ∈ R E × H ⇒ Q ∈ R 2 × H ) K = X W K , ( X ∈ R 2 × E × W K ∈ R E × H ⇒ K ∈ R 2 × H ) V = X W V , ( X ∈ R 2 × E × W V ∈ R E × H ⇒ V ∈ R 2 × H ) (6) \\begin\{aligned\} \\boldsymbol Q &=\\boldsymbol X \\boldsymbol\{W\}^\{Q\}, \\left(\\boldsymbol X \\in \\mathbb\{R\}^\{2 \\times E\}\\times \\boldsymbol\{W\}^\{Q\} \\in \\mathbb\{R\}^\{E \\times H\} \\Rightarrow \\boldsymbol\{Q\} \\in \\mathbb\{R\}^\{ 2 \\times H\}\\right) \\\\ \\boldsymbol K &=\\boldsymbol X \\boldsymbol\{W\}^\{K\}, \\left(\\boldsymbol X \\in \\mathbb\{R\}^\{2 \\times E\}\\times \\boldsymbol\{W\}^\{K\} \\in \\mathbb\{R\}^\{E \\times H\} \\Rightarrow \\boldsymbol\{K\} \\in \\mathbb\{R\}^\{2 \\times H\}\\right) \\\\ \\boldsymbol V &=\\boldsymbol X \\boldsymbol\{W\}^\{V\}, \\left(\\boldsymbol X \\in \\mathbb\{R\}^\{2 \\times E\}\\times \\boldsymbol\{W\}^\{V\} \\in \\mathbb\{R\}^\{E \\times H\} \\Rightarrow \\boldsymbol\{V\} \\in \\mathbb\{R\}^\{2 \\times H\}\\right)\\tag\{6\} \\end\{aligned\} QKV=XWQ,(X∈R2×E×WQ∈RE×H⇒Q∈R2×H)=XWK,(X∈R2×E×WK∈RE×H⇒K∈R2×H)=XWV,(X∈R2×E×WV∈RE×H⇒V∈R2×H)(6)

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 15][]

>  *  在上述变换基础上进行如下计算，得到输入中 **每个词和自身及其他词之间的关系权重**：  
>      S = softmax ⁡ ( Q K ⊤ d k ) (7) \\boldsymbol S=\\operatorname\{softmax\}\\left(\\frac\{\\boldsymbol Q \\boldsymbol K^\{\\top\}\}\{\\sqrt\{d\_\{k\}\}\}\\right) \\tag\{7\} S=softmax(dkQK⊤)(7)
>  *  **计算相似度，得到attention值。** 得到  Q , K , V \\boldsymbol \{Q, K, V\} Q,K,V 这3个矩阵之后，计算  Q 和 K \\boldsymbol Q和\\boldsymbol K Q和K 的相似性，得到score，然后除以  d k \\sqrt\{d\_\{k\}\} dk(为什么要除以它呢？ Q K ⊤ \\boldsymbol Q \\boldsymbol K^\{\\top\} QK⊤ 相乘之后得到的值非常大，值很大的情况下，softmax在反向传播的过程中梯度很小，容易发生梯度消失的现象。除以 d k \\sqrt\{d\_\{k\}\} dk 而不除以别的值是为了保持方差控制为1，更具体的参考Dasou的公众号《NLP从入门到放弃》)

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 16][]

>  *  因此有  S ∈ R 2 × 2 \\boldsymbol S \\in \\boldsymbol R^\{2 \\times 2\} S∈R2×2，该矩阵表示输入数据中每个词和自身及其他词的关系权重，每一行的得分之和为1。基于该得分即可得到，**每个词在当前上下文下的新的向量表示，公式如下：**  
>      Z = Attention ⁡ ( Q , K , V ) = S V (8) \\boldsymbol Z = \\operatorname\{Attention\}(\\boldsymbol Q, \\boldsymbol K, \\boldsymbol V)=\\boldsymbol S \\boldsymbol V\\tag\{8\} Z=Attention(Q,K,V)=SV(8)
>  *  得到向量  Z \\boldsymbol Z Z 向量之后，它会被送到Encoder的下一个模块，即**前馈神经网络**，这个全连接有2层，第一层的激活函数是ReLU，第二层是一个线性激活函数，可以表示为：  
>      F F N = max ⁡ ( 0 , Z W 1 + b 1 ) W 2 + b 2 (9) \\mathrm\{FFN\}=\\max \\left(0, \\boldsymbol \{Z\} \\boldsymbol \{W\}\_\{1\}+\\boldsymbol\{b\}\_\{1\}\\right) \\boldsymbol\{W\}\_\{2\}+\\boldsymbol\{b\}\_\{2\}\\tag\{9\} FFN=max(0,ZW1\+b1)W2\+b2(9) 论文中两层全连接的中间隐层单元数都为2048

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 17][]

>  *  **实际操作中使用矩阵的运算，方便并行，计算速度更快！** 还有一个细节点，在实际操作叫多头，这里我们只用了一套参数 W Q \\boldsymbol W^Q WQ、 W K \\boldsymbol W^K WK、 W V \\boldsymbol W^V WV。多头其实就是用了多套参数，分别得到各自的 Q , K , V \\boldsymbol Q, K, V Q,K,V，如下图2，多了一套参数。 可以这样理解，多头注意力机制相当于把原始信息打到不同的空间(不一套参数)。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 18][]

>  *   多个头就会有多个输出，最后需要合在一起输出，如下面是2个头。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 19][]

>  *  **多头注意力机制：** 相当于  h h h 个不同的自注意力的集成(ensemble)(如上图中2个，下图中8个)，在这里我们以  h = 8 h=8 h=8 举例说明。**多头注意力机制的输出分成3步**：
>  *  ① 将数据  X \\boldsymbol X X 分别输入到下图所示的8个自注意力的中，得到8个加权后的特征矩阵  Z i ∈ R 2 × 3 , i ∈ \{ 1 , 2 , … , 8 \} \\boldsymbol Z\_i \\in \\boldsymbol R^\{2 \\times 3\}, i \\in\\\{1,2, \\ldots, 8\\\} Zi∈R2×3,i∈\{ 1,2,…,8\}。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 20][]

>  *  ② 将8个 Z i ∈ R 2 × 3 , i ∈ \{ 1 , 2 , … , 8 \} \\boldsymbol Z\_i \\in \\boldsymbol R^\{2 \\times 3\}, i \\in\\\{1,2, \\ldots, 8\\\} Zi∈R2×3,i∈\{ 1,2,…,8\} 按列拼成一个大的特征矩阵  Z tmp ∈ R 2 × 24 \\boldsymbol Z\_\{\\text \{tmp\}\} \\in \\boldsymbol R^\{2 \\times 24\} Ztmp∈R2×24，可以看下面第二个图；

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 21][]

>  *  ③ 特征矩阵经过 **一层全连接** 后得到最终输出  Z = Z tmp W o \\boldsymbol Z=\\boldsymbol Z\_\{\\text \{tmp\}\} \\boldsymbol W^o Z=ZtmpWo，其中 Z tmp ∈ R 2 × 24 , W o ∈ R 24 × 4 \\boldsymbol Z\_\{\\text \{tmp\}\} \\in \\boldsymbol R^\{2\\times 24\}, \\boldsymbol W^o\\in \\boldsymbol R^\{24\\times 4\} Ztmp∈R2×24,Wo∈R24×4。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 22][]

>  *  具体多头注意力机制全过程如下：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 23][]

>  *  **注意：** 同self-attention一样，multi-head attention也加入了**short-cut机制**。

# 四. 残差和layerNormal #

>  *  首先说一下 **残差和LayerNormal** 大致情况。首先看输入  x 1 \\boldsymbol x\_1 x1 和  x 2 \\boldsymbol x\_2 x2 代表词向量，然后碰到位置编码进行对位相加，得到新的  x 1 \\boldsymbol x\_1 x1 和  x 2 \\boldsymbol x\_2 x2，然后经过self-attention层得到输出结果  z 1 \\boldsymbol z\_1 z1 和  z 2 \\boldsymbol z\_2 z2，现在将  z 1 \\boldsymbol z\_1 z1 和  z 2 \\boldsymbol z\_2 z2 变为一个矩阵  Z \\boldsymbol Z Z，将原始输入直接拿过来变为  X \\boldsymbol X X，然后和  Z \\boldsymbol Z Z 对位相加作为残差的输出结果，然后经过LayerNormal。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 24][]

## 4.1. Layer Normalization ##

>  *  **经典的面试题**：为什么这里使用Layer Normalization而不是Batch Normalization？
>  *  NLP中所有任务不止Transformer，大家很少用BN，基本都用LN操作。

>  *  说一下BN操作，特征处理的时候Feature scaling就是为了消除量纲的影响，使模型收敛的更快。[李宏毅老师课件链接][Link 1]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 25][]

>  *  **BN理解的重点在于：针对整个batch中的样本同一纬度进行处理。** 下图中  X 1 , . . . , X R \\boldsymbol X^1, ..., \\boldsymbol X^R X1,...,XR 不同的样本。例如代表不同的人，第1行身高，第2行体重，…。在做的BN的时候，我是针对一个batch种所有的样本人的每一个特征做BN，比如体重维度做BN，身高维度做BN…。
>  *  所以做BN的时候很容易理解，但是如果BN用在NLP中有一个很大的问题。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 26][]

>  *  **BN的优点：**
>  *  第一个就是可以解决内部协变量偏移。
>  *  第二个优点就是缓解了梯度饱和问题(如果使用sigmoid激活函数的话)，加快收敛。

>  *  **BN的缺点：**
>  *  第一个，batch\_size较小的时候，效果差(**这个batch中计算出来的均值和方差不能代表全部数据的均值和方差**)。
>  *  **第二个，缺点就是 BN 在RNN中效果比较差。这一点和第一点原因很类似，不过我单挑出来说。**
>  *  **第二个的例子**：一个batch长度为10，前9个样本的句子长度是5个单词，1个样本的句子长度是20个单词，那么我再输入的时候，前5个单词的均值和方差可以用10个样本计算出来，但是第6个单词到第20个单词的均值和方差怎么计算呢？前9个没有，只有最后一个有。回到了第一个问题中batch很小的时候，效果很差，这就是BN在RNN中效果不好的原因。RNN的输入是动态的。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 27][]

>  *  **为什么使用layer-norm？** 比如还是上面例子，最后1个句子是20个单词，LN做的就是针对这20个单词进行缩放，去做它的均值和方差。而BN做的是针对第一1行单词做方差，第2行单词做方差。
>  *  理解：为什么LayerNorm单独对一个样本的所有单词做缩放可以起到效果。

>  *  **看下面这张图**：同一个位置的做均值和方差，比如我和今做方差，ai和天做方差，默认假设我和今代表同样的语义信息，ai和天代表同样的语音信息。大家想想是不是这样，看上面的图BN的时候，身高做方差，体重做方差，都是代表相同的语音信息。而LN做的是针对所有单词我爱中国共产党所有单词做均值和方差，它的假设是我爱中国共产党在**同一个语义信息里**。**也可以这样理解，在获取我爱中国共产党这个句向量的时候，一个常规的做法是做加权词向量，加权词向量基本假设认为我爱中国共产党这句话中的所有词是在一个语义信息里面的，所以才认为是可以理解的。**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 28][]

# 五. 前馈神经网络 #

>  *  前馈神经网络就是这个图中最上面的，这里是两层的全连接，然后再过一个残差和Normalization。以上所有的都是Encoder的过程。

>  *  如果我们可视化向量、layer-norm以及前馈神经网络操作，将如下所示：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 29][]

>  *  在解码器中也是如此，**假设两层编码器+两层解码器组成Transformer**，其结构如下：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 30][]

>  *  **注意(下面也有介绍，这里强调一下)**：在解码器中，Transformer block比编码器中多了个Encoder-Decoder Attention。在Encoder-Decoder Attention中， Q \\boldsymbol Q Q 来自于解码器的上一个输出，  K \\boldsymbol K K 和  V \\boldsymbol V V 则来自于与编码器的输出。其计算方式完全和图10的过程相同。

# 六. Decoder #

>  *  现在我们已经了解了编码器侧的大部分概念，也基本了解了解码器的工作方式，下面看下他们是如何共同工作的。
>  *  编码器从输入序列的处理开始，最后的编码器的输出被转换为  K \\boldsymbol K K 和  V \\boldsymbol V V，它俩被每个解码器的"Encoder-Decoder Atttention"层来使用，帮助解码器集中于输入序列的合适位置。**看上一节中的图**。

![transformer_decoding_1.gif][]

>  *  下面的步骤一直重复直到一个特殊符号出现表示解码器完成了翻译输出。每一步的输出被喂到下一个解码器中。正如编码器的输入所做的处理，对解码器的输入增加位置向量。

![transformer_decoding_2.gif][]

>  *  **下面是Decoder部分，重点讲解一下1(掩盖多头注意力机制)和2(交互层，比encoder多了1层)两部分。**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 31][]

## 6.1. 掩盖多头注意力机制 ##

>  *  由于在机器翻译中，解码过程是一个顺序操作的过程，也就是当解码第  k k k 个特征向量时，我们只能看到第  k − 1 k-1 k−1 及其之前的解码结果，论文中把这种情况下的注意力机制叫做 **掩盖多头注意力机制**(masked multi-head attention)。

>  *  **从代码层面上讲，需要对当前单词和之后的单词做mask，都抹掉，不让看到。**
>  *  **为什么需要mask?** **举例**：看下面S代表输入的开始start，真正的句子的I love you now。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 32][]

>  *   **S \\text S S 输入，输出  I \\text I I，然后做一个teacher for thing，把  I \\text I I 作为下一个时刻的输入得到  LOVE \\text \{LOVE\} LOVE，依次,…,这是一个机器翻译的过程。** 为什么需要mask? 输入  LOVE \\text\{LOVE\} LOVE 的时候，输出的是  YOU \\text\{YOU\} YOU，如果decoder的输入是没有mask，只是经过和Encoder一样的，那么从 Start 的  S \\text S S 开始，I love you now 这些词都为生成you这个预测结果都会提供信息。因为在预测阶段，比如预测YOU，是没有后面这个ground truth(没有YOU NOW)这个词，模型看不到未来的这个单词。如果不mask掉you和now，这个模型训练的时候和预测的时候存在gap，也就是说训练的时候可以看到这2个单词，预测的时候看不到这2个单词，这个模型的效果肯定就不好，所以就需要mask。把you和now给的信息抹掉，这样和预测就保持了一致。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 33][]

## 6.2. 交互层 ##

>  *  从图中可以看到这是一个典型的多头注意力机制，是怎么操作的呢？**看下图**：所有encoder输出和每一个Decoder做交互。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 34][]

>  *  具体交互操作看下图：比如现在有2个encoder，输出的这个值得到  K , V \\boldsymbol \{K, V\} K,V 矩阵，一定要注意Encoder生成的是  K , V \\boldsymbol \{K, V\} K,V 矩阵，Decoder生成的是  Q \\boldsymbol Q Q 矩阵，多头注意力机制一定有  Q , K , V \\boldsymbol \{Q, K, V\} Q,K,V 三个矩阵，在交互的时候利用  Q , K , V \\boldsymbol \{Q, K, V\} Q,K,V 进行交互，生成多头注意力机制。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 35][]

>  *  再简单梳理一下整个过程，虚线代表  K , V \\boldsymbol \{K, V\} K,V 矩阵的输出，看下面这条在第一个decoder中在做多头注意力机制的时候，和Decoder中的  Q \\boldsymbol Q Q 做一个交互。第二个Decoder也是一样的。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 30][]

# 七. 参考 #

>  *  **主要参考dasou博主的视频**：[https://www.bilibili.com/video/BV1Ey4y1874y?p=6&spm\_id\_from=pageDriver][https_www.bilibili.com_video_BV1Ey4y1874y_p_6_spm_id_from_pageDriver]
>  *  **国外大神，精美图分析，英文**：[https://jalammar.github.io/illustrated-transformer/][https_jalammar.github.io_illustrated-transformer]
>  *  **国外大神，精美图分析，中文**：[https://blog.csdn.net/yujianmin1990/article/details/85221271][https_blog.csdn.net_yujianmin1990_article_details_85221271]
>  *  Transformer简要介绍： [https://blog.csdn.net/weixin\_43199584/article/details/104721196][https_blog.csdn.net_weixin_43199584_article_details_104721196]
>  *  Transformer论文 + PyTorch源码解读： [https://www.pianshen.com/article/3013330708/][https_www.pianshen.com_article_3013330708]
>  *  详解Transformer (Attention Is All You Need)：[https://zhuanlan.zhihu.com/p/48508221][https_zhuanlan.zhihu.com_p_48508221]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/335c507b98954be7a35e80d70fa41d3a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/6c67d06f77cc4982b4eb0640a478963c.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/6a74d62a352e4fd2b98f6b6fcfbeefd7.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/a11c4b35d5e74b6f9c6b5ad29cdb9b03.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/4783ebd305314c84a5ba10e534ff25f8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/54ddd918f1124f9b8eef61e04bfbf5d0.png
[4233ce59f7e54ee6bf3aaf82765798ee.png]: /images/20220828/1903d31abcb542e090d097be647455db.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220828/6f97da8ab5554252a29a335dc37cb796.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 7]: /images/20220828/ce218c1ed2424b47bcffadfb82e3cdf1.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 8]: /images/20220828/ed245364ad56405a93de2e027a83b0b7.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 9]: /images/20220828/2d9c6e0b73254497acd28b2d11a906c5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 10]: /images/20220828/5b903688725b473dba50508ee54a3bde.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 11]: /images/20220828/6748114eb69b4d239f9ec011eae017f0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 12]: /images/20220828/7f5bf7e1ea2a4f37a0d07343d55853c6.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 13]: /images/20220828/1911180fdd4947f79a309583cfb18089.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 14]: /images/20220828/3bb3acdf5b7d4f0f8bbd232be1c26ef3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 15]: /images/20220828/1f4bd4404bbb4d6eab629ef51e25cd97.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 16]: /images/20220828/3437d021340241a294c1a5befa02ab07.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 17]: /images/20220828/094c44d7b05340a493eac875afd363e2.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 18]: /images/20220828/4d8f2cc2ad3d413caa1ec1869ce61c7d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 19]: /images/20220828/91e3382ad2a24b5988fffeeb1aca84e3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 20]: /images/20220828/3c8cfe6d39c24952be7b46c39fce0a67.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 21]: /images/20220828/f9e7e37ea50d41fd9be3ed309caf33da.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 22]: /images/20220828/1a13727e3ba24b5790a60851a4c3977d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 23]: /images/20220828/69f5ca0b50ca4643b09931c6a15a7f8e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 24]: /images/20220828/e9e6ce5d4c714d328e399db7e8d0d26e.png
[Link 1]: https://zhuanlan.zhihu.com/p/364013679
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 25]: /images/20220828/b146245d1e1f4192a38095b9b42a3fe3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 26]: /images/20220828/c8417509a0c94e56a6c08fcef9aecfed.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 27]: /images/20220828/94d7acb69bbb4adf98d1c27dea870c9a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 28]: /images/20220828/1c5aa55f8bf34feb9d4cd1982b791f70.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 29]: /images/20220828/21b9ad41bbed4171aef6933f00a93fb1.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 30]: /images/20220828/9d1998b9d5bf4795bfa78770a3aeb426.png
[transformer_decoding_1.gif]: https://jalammar.github.io/images/t/transformer_decoding_1.gif
[transformer_decoding_2.gif]: /images/20220828/bcdc1be8890a4f04ad2e9a49908f59b1.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 31]: /images/20220828/a2f6f0db58ef4e1e81bb01494d370cb5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 32]: /images/20220828/1f1e182a9e914db5a0e1d8ee4d2cba24.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 33]: /images/20220828/9f74322c53734d1baa9fb26bed79a72e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 34]: /images/20220828/8e978202cde04f2da84f18c8d784cf4f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 35]: /images/20220828/4f39618f7afb4f7e8839438b1eb27622.png
[https_www.bilibili.com_video_BV1Ey4y1874y_p_6_spm_id_from_pageDriver]: https://www.bilibili.com/video/BV1Ey4y1874y?p=6&spm_id_from=pageDriver
[https_jalammar.github.io_illustrated-transformer]: https://jalammar.github.io/illustrated-transformer/
[https_blog.csdn.net_yujianmin1990_article_details_85221271]: https://blog.csdn.net/yujianmin1990/article/details/85221271
[https_blog.csdn.net_weixin_43199584_article_details_104721196]: https://blog.csdn.net/weixin_43199584/article/details/104721196
[https_www.pianshen.com_article_3013330708]: https://www.pianshen.com/article/3013330708/
[https_zhuanlan.zhihu.com_p_48508221]: https://zhuanlan.zhihu.com/p/48508221