NLP中的Attention注意力机制和Transformer详解

素颜马尾好姑娘i 2023-06-11 03:19 72阅读 0赞

话说自公元二零一三年，深度学习网络一枝独秀，自机器学习王国脱颖而出，带动了人工智能领域的发展。其中它最主要的两大家，**卷积网络（CNN）**和**循环网络（RNN）**，因其独特的性质，分别在计算机视觉和自然语言处理领域得到广泛使用。

然而这两大家却都还是上世纪就被提出来了，本世纪虽有创新，却也逃脱不了这两大家的干系。前有 RNN 的变种树状的递归网络 (Recursive Neural Network)，后有卷积网络里的 ResNet，InceptNet 这些变种，外加对它们的一些训练技巧。

于是乎，说到学习深度学习，实际上主要就在学习 CNN 和 RNN。近来，Google 提出了一种新的架构 Transformer，彻底颠覆了过去的理念，没用到 CNN 和 RNN，主要是一种叫做 Attention （注意力）机制的结构组成。**用更少的计算资源，取得了比过去的结构更好的结果**。

提出 Transformer 的论文，*Attention is All You Need* （你只需要注意力就行） 也在去年被封 NLP 领域的年度最佳论文。于是 Transformer 一下子就火起来了，在很多任务有取代 RNN 的趋势。

而本篇要介绍的就是 Transformer，还有之后比较成功的两个变体，**Weighted Transformer** 以及 **Universal Transformer。**

## 经典架构：RNN + Seq2Seq + Atten ##

# #

进入正题之前，先来介绍一下 **RNN 序列到序列（seq2seq）** 架构，以及注意力机制。这样更便于我们理解之后的 Transformer 如何取代它。

之前 Twitter 上有人开过玩笑，深度学习使得 NLP 领域太过简单粗暴，无论什么问题用 seq2seq + atten 都能解决。这里说的 seq2seq 是 sequence to sequence 的简称，一般默认的结构是由 RNN 组成的编码器和解码器，再加上在之间的注意力机制 （atten）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70][]

首先需要知道，在没有注意力机制之前，用 seq2seq 架构翻译是这样的。先是编码器，按照顺序处理源句，得到一个描述（representation）向量，然后解码器利用这个描述，来翻译出整个句子。然而这导致了信息的大量丢失，特别是对一些长的句子，和有不同语序的语言对。比如下面这个。

![20191028234904233.png][]

可以发现，要把 “like” 翻译成 “好き（suki）”，得经历很长的距离，这中间会混入噪音，还会丢失有用信息，所以很难翻译准确。

即使之后，加了部分**注意力机制**来辅助翻译，也会因为对关系的捕捉不足，而出现翻译失误。因为在这样的翻译任务中，需要发现的关系有三种：

1.  **源句内部的关系**；
2.  **目标句内部的关系**；
3.  **源句和目标句之间的关系**。

而这样的 seq2seq，只在捕捉源句和目标句之间关系用注意力机制进行了捕捉，而源句内部和目标句内部还是在用 RNN，从一边到另一边这样捕捉关系（好一点的用双向 RNN），但这样并不够直接，特别是对一些距离远的关系捕捉很差。

除了**对远距离关系难以学习**的不足以外，RNN 还有一点不足，那就是**训练慢**。因为它默认是按时序来进行处理的，所以得一个个词从左到右看过去，这样导致 RNN 不能像 CNN 一样，充分利用 GPU 的并行运算优势。

值得一提的是，为了解决 RNN 的训练问题，Facebook 的研究人员有提出 CNN 的 seq2seq 架构，使得训练速度更快，但是性能并没有得到太大的提高

## **一、Attention机制剖析** ##

首先先说说自己对 Transformer 理解，我认为它最大的改进有如下几点：

1.  提出**用注意力机制来直接学习源语言内部关系和目标语言内部关系**，而不是像之前用 RNN 来学；
2.  对存在多种不同关系的假设，而提出**多头 (Multi-head) 注意力机制**，有点类似于 CNN 中多通道的概念；
3.  对词语的位置，用了不同频率的 sin 和 cos 函数进行编码。

**1、为什么要引入Attention机制？**

根据通用近似定理，前馈网络和循环网络都有很强的能力。但为什么还要引入注意力机制呢？

*  **计算能力的限制**：当要记住很多“信息“，模型就要变得更复杂，然而目前计算能力依然是限制神经网络发展的瓶颈。
 *  **优化算法的限制**：虽然局部连接、权重共享以及pooling等优化操作可以让神经网络变得简单一些，有效缓解模型复杂度和表达能力之间的矛盾；但是，如循环神经网络中的长距离以来问题，信息“记忆”能力并不高。

**可以借助人脑处理信息过载的方式，例如Attention机制可以提高神经网络处理信息的能力。**

**2、Attention机制有哪些？（怎么分类？）**

当用神经网络来处理大量的输入信息时，也可以借鉴人脑的注意力机制，**只选择一些关键的信息输入进行处理，来提高神经网络的效率**。按照认知神经学中的注意力，可以总体上分为两类：

*  **聚焦式（focus）注意力**：自上而下的有意识的注意力，主动注意——是指有预定目的、依赖任务的、主动有意识地聚焦于某一对象的注意力；
 *  **显著性（saliency-based）注意力**：自下而上的有意识的注意力，被动注意——基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关；可以将**max-pooling和门控（gating）机制**来近似地看作是自下而上的基于显著性的注意力机制。

在人工神经网络中，注意力机制一般就特指**聚焦式注意力**。

**3、Attention机制的计算流程是怎样的？**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 1][]

Attention机制的实质：寻址（addressing）

**Attention机制的实质其实就是一个寻址（addressing）的过程**，如上图所示：给定一个和任务相关的查询**Query**向量** q**，通过计算与**Key**的注意力分布并附加在**Value**上，从而计算**Attention Value**，这个过程实际上是**Attention机制缓解神经网络模型复杂度的体现**：不需要将所有的N个输入信息都输入到神经网络进行计算，只需要从X中选择一些和任务相关的信息输入给神经网络。

> ***注意力机制可以分为三步：一是信息输入；二是计算注意力分布α；三是根据注意力分布α 来计算输入信息的加权平均。***

**step1-信息输入**：用**X** = \[x1, · · · , xN \]表示N 个输入信息；

**step2-注意力分布计算**：令**Key**=**Value**=**X**，则可以给出注意力分布

![20191028232040265.png][]

我们将 ![20191028232147616.png][]称之为注意力分布（概率分布）， ![2019102823221167.png][]为注意力打分机制，有几种打分机制：

![20191028232241722.png][]

**step3-信息加权平均**：注意力分布 ![20191028232147616.png][]可以解释为在上下文查询**q**时，第i个信息受关注的程度，采用一种“软性”的信息选择机制对输入信息**X**进行编码为：

![20191028232345515.png][]

这种编码方式为**软性注意力机制（soft Attention）**，软性注意力机制有两种：普通模式（**Key**=**Value**=**X**）和键值对模式（**Key！**=**Value**）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 2][]

软性注意力机制（soft Attention）

**4、Attention机制的变种有哪些？**

与普通的Attention机制（上图左）相比，Attention机制有哪些变种呢？

*  **变种1-硬性注意力：**之前提到的注意力是软性注意力，其选择的信息是**所有输入信息**在注意力分布下的期望。还有一种注意力是只关注到某一个位置上的信息，叫做硬性注意力（hard attention）。

硬性注意力有两种实现方式：（1）一种是**选取最高概率的输入信息**；（2）另一种通过在注意力分布式上**随机采样**的方式实现。硬性注意力模型的缺点：

> 硬性注意力的一个缺点是基于最大采样或随机采样的方式来选择信息。因此 **最终的损失函数与注意力分布之间的函数关系不可导**，因此 **无法使用在反向传播算法**进行训练。为了使用反向传播算法，一般使用软性注意力来代替硬性注意力。硬性注意力需要通过强化学习来进行训练。—— [《神经网络与深度学习》][Link 1]

*  **变种2-键值对注意力：**即上图右边的键值对模式，此时Key！=Value，注意力函数变为：

![20191028232547128.png][]

*  **变种3-多头注意力：**多头注意力（multi-head attention）是利用多个查询Q = \[q1, · · · , qM\]，来**平行地计算从输入信息中选取多个信息。**每个注意力关注输入信息的不同部分，然后再进行拼接：

![20191028232624102.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 3][]

注意力机制的运算需要三部分，**query**，**keys**，**values**。一般来说 keys 和 values 相同，便于更广义上的理解分成两个。计算过程大概是这样：

1.  先用 query 和所有的 keys 值相乘（也能用其他一些运算），于是**每个 key 都能得到一个值**；
2.  上面得到的值可以看做是每个 key 的权重，为了使得权重加起来等于1，这里需要用 softmax 压一下得到**注意力评分（attention score）**；
3.  最后用**评分和相对应的 value 值相乘**，决定哪个 value 比较重要，**再相加**，就得到想要的注意力向量了。

论文中用到的注意力机制公式如下，Q，K，V 分别是 query，key，value 的矩阵，除以根号 d 是为了更好的数值运算：

![20191028235201768.png][]

了解了一般的注意力机制，那么多头注意力机制就很好理解了。它相当于有多组这样的注意力机制，对 Q K V 之间的不同关系进行提取，最后再把得出的结果拼接起来。为了保证多样性，还给每组注意力机制增加了不同的线性变换层来先处理 Q K V。

![20191028235239740.png][]

公式表达：

![20191028235303936.png][]

**5、一种强大的Attention机制：为什么自注意力模型（self-Attention model）在长距离序列中如此强大？**

**（1）卷积或循环神经网络难道不能处理长距离序列吗？**

当使用神经网络来处理一个变长的向量序列时，我们通常可以使用卷积网络或循环网络进行编码来得到一个相同长度的输出向量序列，如图所示：

![20191028232702732.png][]

基于卷积网络和循环网络的变长序列编码

从上图可以看出，无论卷积还是循环神经网络其实都是对变长序列的一种“**局部编码**”：卷积神经网络显然是基于N-gram的局部编码；而对于循环神经网络，由于梯度消失等问题也只能建立短距离依赖。

**（2）要解决这种短距离依赖的“局部编码”问题，从而对输入序列建立长距离依赖关系，有哪些办法呢？**

> 如果要建立输入序列之间的长距离依赖关系，可以使用以下两种方法：一种方法是 **增加网络的层数**，通过一个深层网络来获取远距离的信息交互，另一种方法是 **使用全连接网络**。 —— [《神经网络与深度学习》][Link 1]

![20191028232811757.png][]

全连接模型和自注意力模型：实线表示为可学习的权重，虚线表示动态生成的权重。

由上图可以看出，全连接网络虽然是一种非常直接的建模远距离依赖的模型， 但是**无法处理变长的输入序列**。**不同的输入长度，其连接权重的大小也是不同的。**

这时我们就可以**利用注意力机制来“动态”地生成不同连接的权重**，这就是自注意力模型（self-attention model）。由于自注意力模型的权重是动态生成的，因此可以处理变长的信息序列。

总体来说，**为什么自注意力模型（self-Attention model）如此强大**：**利用注意力机制来“动态”地生成不同连接的权重，从而处理变长的信息序列。**

**（3）自注意力模型（self-Attention model）具体的计算流程是怎样的呢?**

同样，给出信息输入：用X = \[x1, · · · , xN \]表示N 个输入信息；通过线性变换得到为查询向量序列，键向量序列和值向量序列：

![2019102823285251.png][]

上面的公式可以看出，**self-Attention中的Q是对自身（self）输入的变换，而在传统的Attention中，Q来自于外部。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 4][]

self-Attention计算过程剖解（来自《细讲 | Attention Is All You Need 》）

注意力计算公式为：

![20191028233003325.png][]

自注意力模型（self-Attention model）中，通常使用缩放点积来作为注意力打分函数，输出向量序列可以写为：

![20191028233040580.png][]

## **二、Transformer（Attention Is All You Need）详解** ##

从Transformer这篇论文的题目可以看出，Transformer的核心就是Attention，这也就是为什么本文会在剖析玩Attention机制之后会引出Transformer，如果对上面的Attention机制特别是自注意力模型（self-Attention model）理解后，Transformer就很容易理解了。

**1、Transformer的整体架构是怎样的？由哪些部分组成？**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 5][]

Transformer模型架构

Transformer其实这就是一个Seq2Seq模型，左边一个encoder把输入读进去，右边一个decoder得到输出：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 6][]

Seq2Seq模型

**Transformer=Transformer Encoder+Transformer Decoder**

**（1）Transformer Encoder（N=6层，每层包括2个sub-layers）：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 7][]

Transformer Encoder

首先是输入源句，转换成向量，加入位置编码，然后利用多头注意力学习源句内部的关系，传入一个前向层（Feed Forward），这是为了让网络内的向量互动更多，学到更复杂的关系。其余一些跳跃的箭头，Add 和 Norm 什么的只是训练技巧。

*  **sub-layer-1**：**multi-head self-attention mechanism**，用来进行self-attention。
 *  **sub-layer-2**：**Position-wise Feed-forward Networks**，简单的全连接网络，对每个position的向量分别进行相同的操作，包括两个线性变换和一个ReLU激活输出（输入输出层的维度都为512，中间层为2048）：

每个sub-layer都使用了残差网络：

![20191028233413412.png][]

**（2）Transformer Decoder（N=6层，每层包括3个sub-layers）**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 8][]

Transformer Decoder

解码器比编码器要复杂些，但也就中间多了个注意力模块。我们输入目标句子，转化成向量，加入位置编码，然后**用第一个多头注意力机制学习目标句内部之间的关系**，之后将**向量和编码器端传过来的向量一起传入第二个注意力机制，来学习目标句和源句之间的关系**，再如编码器一样传入前向层。最后在一个线性变换之后，用 softmax 得出概率向量，并给出预测的值。

*  **sub-layer-1**：**Masked multi-head self-attention mechanism**，用来进行self-attention，与Encoder不同：由于是序列生成过程，所以在时刻 i 的时候，大于 i 的时刻都没有结果，只有小于 i 的时刻有结果，因此需要做**Mask**。
 *  **sub-layer-2**：**Position-wise Feed-forward Networks**，同Encoder。
 *  **sub-layer-3**：**Encoder-Decoder attention计算**。

**2、Transformer Encoder 与 Transformer Decoder 有哪些不同？**

（1）multi-head self-attention mechanism不同，Encoder中不需要使用Masked，而Decoder中需要使用Masked；

（2）Decoder中多了一层Encoder-Decoder attention，这与 self-attention mechanism不同。

**3、Encoder-Decoder attention 与self-attention mechanism有哪些不同？**

它们都是用了 multi-head计算，不过Encoder-Decoder attention采用传统的attention机制，其中的Query是self-attention mechanism已经计算出的上一时间i处的编码值，Key和Value都是Encoder的输出，这与self-attention mechanism不同。代码中具体体现：

## Multihead Attention ( self-attention)
                self.dec = multihead_attention(queries=self.dec,
                                               keys=self.dec,
                                               num_units=hp.hidden_units,
                                               num_heads=hp.num_heads,
                                               dropout_rate=hp.dropout_rate,
                                               is_training=is_training,
                                               causality=True,
                                               scope="self_attention")
    
    ## Multihead Attention ( Encoder-Decoder attention)
                self.dec = multihead_attention(queries=self.dec,
                                               keys=self.enc,
                                               num_units=hp.hidden_units,
                                               num_heads=hp.num_heads,
                                               dropout_rate=hp.dropout_rate,
                                               is_training=is_training,
                                               causality=False,
                                               scope="vanilla_attention")

**4、multi-head self-attention mechanism具体的计算过程是怎样的？**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 9][]

multi-head self-attention mechanism计算过程

Transformer中的Attention机制由**Scaled Dot-Product Attention**和**Multi-Head Attention**组成，上图给出了整体流程。下面具体介绍各个环节：

*  **Expand**：实际上是经过线性变换，生成Q、K、V三个向量；
 *  **Split heads**: 进行分头操作，在原文中将原来每个位置512维度分成8个head，每个head维度变为64；
 *  **Self Attention**：对每个head进行Self Attention，具体过程和第一部分介绍的一致；
 *  **Concat heads**：对进行完Self Attention每个head进行拼接；

上述过程公式为：

![20191028233526235.png][]

**5、Transformer在GPT和Bert等词向量预训练模型中具体是怎么应用的？有什么变化？**

*  GPT中训练的是单向语言模型，其实就是直接应用**Transformer Decoder**；
 *  Bert中训练的是双向语言模型，应用了**Transformer Encoder**部分，不过在Encoder基础上还做了**Masked操作**；

BERT Transformer 使用**双向self-attention**，而GPT Transformer 使用受限制的self-attention，其中每个token只能处理其左侧的上下文。双向 Transformer 通常被称为“Transformer encoder”，而左侧上下文被称为“Transformer decoder”，decoder是不能获要预测的信息的。

**Reference**

1.  [《神经网络与深度学习》][Link 1]
2.  [Attention Is All You Need][]
3.  [谷歌BERT解析----2小时上手最强NLP训练模型][BERT_----2_NLP]
4.  [细讲 | Attention Is All You Need][_ Attention Is All You Need]
5.  [深度学习中的注意力模型（2017版）][2017]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70]: /images/20230531/2b32d586becf423280c49477ded11732.png
[20191028234904233.png]: /images/20230531/674541a3d0f84c588e831d634e4ab999.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 1]: /images/20230531/17b76d76e1ec47af8fae7840715b8cf0.png
[20191028232040265.png]: /images/20230531/da773533e05a414db99e485d706da87f.png
[20191028232147616.png]: /images/20230531/142dc0360e2c4f4ebce1e0f14f1d58f4.png
[2019102823221167.png]: /images/20230531/77ae942ffaf14aa7acae47e7eeefc1c3.png
[20191028232241722.png]: /images/20230531/ec625e1c78fc423fbdece83cf4200450.png
[20191028232345515.png]: /images/20230531/25292853e69c47cbbefefd64a9a753a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 2]: /images/20230531/fe91cf1d42bd4bf8be14126d534e31f7.png
[Link 1]: https://link.zhihu.com/?target=https%3A//nndl.github.io/
[20191028232547128.png]: /images/20230531/3dcc4ef431b74c5c8d7292f83d1ac4d5.png
[20191028232624102.png]: /images/20230531/026fab9689a34e7ca05391c2bd8255e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 3]: /images/20230531/0329780d264a4bb6a6ff9963f45bb118.png
[20191028235201768.png]: /images/20230531/c844fb9108f946579fcbce464305e6e1.png
[20191028235239740.png]: /images/20230531/6609665bd13746c7bc2883452d6beabf.png
[20191028235303936.png]: /images/20230531/57c3cb5c9b1344ae880da455f5820c40.png
[20191028232702732.png]: /images/20230531/4455540da6504ec09d854003e4f6cd1e.png
[20191028232811757.png]: /images/20230531/6cab8bac745d46959ebbc26ddfce52c7.png
[2019102823285251.png]: /images/20230531/9eac7bd865474fccba1ebd9478f51195.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 4]: /images/20230531/bd07cdbd417940fe87b61da801881130.png
[20191028233003325.png]: /images/20230531/861a9d4fb6f64451af033d4341e73d73.png
[20191028233040580.png]: /images/20230531/c5d8ac7172cb4fb2a46f18e43e2c4225.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 5]: /images/20230531/153e2a00412c4d6c9821363484c38d68.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 6]: /images/20230531/98c04f7a5c7945e2b83c0243c250b7b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 7]: /images/20230531/410b4e6741574c8c913e568610486202.png
[20191028233413412.png]: /images/20230531/5f7f73f3fca84007bd98c5cee16be520.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 8]: /images/20230531/03d248b57aee4a9395daa0e79f1ab5f5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 9]: /images/20230531/13d2826e590f40daab90d348488e48b3.png
[20191028233526235.png]: /images/20230531/b85f415bd8fe4254be60615ec2ef4dac.png
[Attention Is All You Need]: https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1706.03762
[BERT_----2_NLP]: https://link.zhihu.com/?target=http%3A//www.chinahadoop.cn/course/1253
[_ Attention Is All You Need]: https://link.zhihu.com/?target=https%3A//mp.weixin.qq.com/s/RLxWevVWHXgX-UcoxDS70w
[2017]: https://zhuanlan.zhihu.com/p/37601161