NLP-CS224n学习讲义PART 3——Neural Networks, Backpropagation

末蓝、 2023-02-14 01:51 30阅读 0赞

## 1 神经网络基础 ##

从下面一张图我们可以知道为什么我们需要使用神经网络进行分类：  
![在这里插入图片描述][20200530175525171.png_pic_center]

这张图显示了线性回归分类的局限性，也就是大部分的数据都不是线性可分的，所以我们需要非线性的分类器。而神经网络是一类具有非线性决策边界的分类器，如下图所示：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_9_color_FFFFFF_t_70_pic_center]  
所以我们可以接下来主要学习神经网络的一些基础知识，很简单，但需要掌握。

### 1.1 一个神经元 ###

一个神经元在神经网络中就是一个输入n个inputs并输出单个output的计算单元，不同的权重会输出不同的output。其中最常选择的神经元之一便是"sigmoid"或者称为"二元逻辑回归"神经元。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center]

神经元计算公式为： a = 1 1 + e x p ( − ( w T x + b ) ) a = \\frac\{1\}\{1+exp(-(w^Tx+b))\} a=1\+exp(−(wTx\+b))1

也可以写成如下形式： a = 1 1 + e x p ( − \[ w T x b \] ⋅ \[ x 1 \] ) a = \\frac\{1\}\{1+exp(-\[w^Tx \\ b\]\\cdot \[x \\ 1\])\} a=1\+exp(−\[wTxb\]⋅\[x1\])1

### 1.2 单层神经网络 ###

单层神经网络即将多个神经元放到同一层，表示如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 1]  
假如单层有 m m m个神经元，这样我们的权重表示为  \{ w ( 1 ) , . . . , w ( m ) \} \\\{w^\{(1)\},...,w^\{(m)\}\\\} \{ w(1),...,w(m)\}，权重则表示为

\{ b 1 , . . . , b m \} \\\{b\_1, ...,b\_m\\\} \{ b1,...,bm\}，激活单元为 \{ a 1 , . . . , a m \} \\\{a\_1,...,a\_m\\\} \{ a1,...,am\}，其中

a 1 = 1 1 + e x p ( w ( 1 ) T x + b 1 ) , . . . , a m = 1 1 + e x p ( w ( m ) T x + b m ) a\_1 = \\frac\{1\}\{1+exp(w^\{(1)T\}x + b\_1)\},..., a\_m = \\frac\{1\}\{1+exp(w^\{(m)T\}x + b\_m)\} a1=1\+exp(w(1)Tx\+b1)1,...,am=1\+exp(w(m)Tx\+bm)1

我们使用向量对其表示：

b = \[ b 1 . . . b m \] ∈ R m b = \\begin\{bmatrix\} b\_1 \\\\ ... \\\\ b\_m\\end\{bmatrix\} \\in \\Bbb R^m b=⎣⎡b1...bm⎦⎤∈Rm，  W = \[ − w ( 1 ) T − . . . − w ( m ) T − \] ∈ R m × n W = \\begin\{bmatrix\} - \\ w^\{(1)T\} \\ - \\\\ ... \\\\ - \\ w^\{(m)T\} \\ - \\end\{bmatrix\} \\in \\Bbb R^\{m\\times n\} W=⎣⎡−w(1)T−...−w(m)T−⎦⎤∈Rm×n

而  z = W x + b z = Wx + b z=Wx\+b， 则 \[ a ( 1 ) . . . a ( m ) \] = σ ( z ) = \[ 1 1 + e x p ( z 1 ) . . . 1 1 + e x p ( z m ) \] \\begin\{bmatrix\} a^\{(1)\} \\\\ ... \\\\ a^\{(m)\}\\end\{bmatrix\} = \\sigma(z) = \\begin\{bmatrix\} \\frac\{1\}\{1+exp(z\_1)\} \\\\ ... \\\\ \\frac\{1\}\{1+exp(z\_m)\}\\end\{bmatrix\} \\quad ⎣⎡a(1)...a(m)⎦⎤=σ(z)=⎣⎡1\+exp(z1)1...1\+exp(zm)1⎦⎤

这些激活函数的意义就是为了**非线性**。

### 1.3 前向计算 ###

我们上面讨论了单层神经网络计算并进行激活的过程，但这其中背后的直觉是什么呢？接下来举一个named-entity recognition问题的例子：

> “Museums in Paris are amazing”

我们这里希望去识别中心词"Paris"是否为一个命名实体。在这种情况下，以便进行分类，我们可能不仅需要捕获word vectors窗口中的单词，还需要捕获单词之间的联系。我们需要另一个矩阵 U ∈ R m × 1 U \\in R^\{m\\times 1\} U∈Rm×1来为一个分类器任务从激活值来产生非标准化分数： s = U T a = U T f ( W x + b ) s = U^Ta = U^Tf(Wx + b) s=UTa=UTf(Wx\+b)，其中 f f f为激活函数。

### 1.4 Maximum Margin目标函数 ###

最大间隔目标函数背后的思想是为了能够确保标签为"true"的数据点的分数能够比标签为"false"的数据点的分数要更高。

假定我们对于标签为"true"文本——"Museums in Paris are amazing"得到的分数记为 s s s，而把标签为"false"的文本——"Not all museums in Paris"得到分数记为 s c s\_c sc，因为我们希望 s s s 要比  s c s\_c sc 要高，所以我们的目标函数可能为最大化  ( s − s c ) (s-s\_c) (s−sc) 或最小化  ( s c − s ) (s\_c - s) (sc−s)。

我们知道如果 s > s c s > s\_c s>sc，那么就没必要去优化了，所以直接为0，而如果 s c > s → s c − s > 0 s\_c > s \\ \\rightarrow \\ s\_c - s > 0 sc>s→sc−s>0，那么就需要去优化，所以我们修改目标函数为：

m i n i m i z e J = m a x ( s c − s , 0 ) minimize \\ J= max(s\_c - s, 0) minimizeJ=max(sc−s,0)

然而这个目标函数是有风险的，因为它没有创建一个安全间隔 (a margin of safety)。我们的目标是让"true"得分更高，所以我们要给它加上一个正间隔 △ \\bigtriangleup △，换句话说就是我们希望在  ( s − s c < △ ) → ( △ + s c − s > 0 ) (s-s\_c < \\bigtriangleup) \\ \\rightarrow \\ (\\bigtriangleup + s\_c - s > 0) (s−sc<△)→(△\+sc−s>0) 进行优化，那么目标函数修改为：

m i n i m i z e J = m a x ( △ + s c − s , 0 ) minimize \\ J = max(\\bigtriangleup + s\_c - s, 0) minimizeJ=max(△\+sc−s,0)

如果这里的margin  △ \\bigtriangleup △ 设为1，我们可以与支持向量机SVMs有很大的联系，最后的目标函数写成：

m i n i m i z e J = m a x ( 1 + U T f ( W x c + b ) − U T f ( W x + b ) , 0 ) minimize J = max(1 + U^Tf(Wx\_c + b) - U^Tf(Wx+b), 0) minimizeJ=max(1\+UTf(Wxc\+b)−UTf(Wx\+b),0)

### 1.5 反向传播训练 ###

如果上面的目标函数为 0，因为这样不能计算梯度来进行SGD更新，那么就没必要去进行优化了。

反向传播是一种可以使用**链式法则**来计算模型前馈计算中使用的任何参数的损失梯度。从而利用  θ ( t + 1 ) = θ ( t ) − α ▽ θ ( t ) J \\theta^\{(t+1)\} = \\theta^\{(t)\} - \\alpha \\bigtriangledown\_\{\\theta^\{(t)\}\}J θ(t\+1)=θ(t)−α▽θ(t)J 来进行参数的更新，利用下图来进行举例：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 2]  
我们先统一一下符号：

*   x i x\_i xi为神经网络输入。
 *   s s s 为神经网络的输出。
 *  每一层都有许多神经元来接收一个输入并产生一个输出，第  k k k 层的第  j j j 个神经元 接收的标量输入记为  z j ( k ) z\_j^\{(k)\} zj(k)，产生的标量激活输出为  a j ( k ) a\_j^\{(k)\} aj(k)。
 *  然后将  z j ( k ) z\_j^\{(k)\} zj(k) 的反向传播误差记为  δ j ( k ) \\delta\_j^\{(k)\} δj(k)（这个在后面的error sharing中是关键部分）。
 *  第一次没有激活函数，所以  x j = z j ( 1 ) = a j ( 1 ) x\_j = z\_j^\{(1)\} = a\_j^\{(1)\} xj=zj(1)=aj(1)。
 *   W ( k ) W^\{(k)\} W(k)将第 k k k层的输出映射到 ( k + 1 ) (k + 1) (k\+1)层的输入的传递矩阵。

我们假定损失函数  J = ( 1 + s c − s ) J = (1 + s\_c - s) J=(1\+sc−s) 为正，并且我们希望更新参数 W 14 ( 1 ) W\_\{14\}^\{(1)\} W14(1)（如下图所示）。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 3]

我们知道 W 14 ( 1 ) W\_\{14\}^\{(1)\} W14(1)只对 z 1 ( 2 ) z\_1^\{(2)\} z1(2)产生贡献，而反向传播的梯度只受它们贡献的值的影响。接下来 a 1 ( 2 ) a\_1^\{(2)\} a1(2)与 W 1 ( 2 ) W\_1^\{(2)\} W1(2)相连接。

J = ( 1 + s c − s ) J = (1 + s\_c - s) J=(1\+sc−s) ，所以 ∂ J ∂ s = − ∂ J ∂ s c = − 1 \\frac\{\\partial J\}\{\\partial s\} = - \\frac\{\\partial J\}\{\\partial s\_c\} = -1 ∂s∂J=−∂sc∂J=−1，

那么 ∂ s ∂ W i j ( 1 ) \\frac\{\\partial s\}\{\\partial W\_\{ij\}^\{(1)\}\} ∂Wij(1)∂s 推导如下（**建议手推一遍**）：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 4]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 5]  
则 ∂ s ∂ W i j ( 1 ) = δ i ( 2 ) ⋅ a j ( 1 ) \\frac\{\\partial s\}\{\\partial W\_\{ij\}^\{(1)\}\} = \\delta\_i^\{(2)\} \\cdot a\_j^\{(1)\} ∂Wij(1)∂s=δi(2)⋅aj(1)

在反向传播中有一个概念叫做"error sharing / distribution"，也就是上面提到的  δ \\delta δ 这一项。

我们用个简单的例子来阐述一下这个概念。

∂ s ∂ W = ∂ s ∂ h ∂ h ∂ z ∂ z ∂ W \\frac\{\\partial s\}\{\\partial W\} = \\frac\{\\partial s\}\{\\partial h\}\\frac\{\\partial h\}\{\\partial z\}\\frac\{\\partial z\}\{\\partial W\} ∂W∂s=∂h∂s∂z∂h∂W∂z 而 ∂ s ∂ b = ∂ s ∂ h ∂ h ∂ z ∂ z ∂ b \\frac\{\\partial s\}\{\\partial b\} = \\frac\{\\partial s\}\{\\partial h\}\\frac\{\\partial h\}\{\\partial z\}\\frac\{\\partial z\}\{\\partial b\} ∂b∂s=∂h∂s∂z∂h∂b∂z

我们可以发现前面  ∂ s ∂ h ∂ h ∂ z \\frac\{\\partial s\}\{\\partial h\}\\frac\{\\partial h\}\{\\partial z\} ∂h∂s∂z∂h 是共有的，所以令其为  δ \\delta δ。

[20200530175525171.png_pic_center]: https://img-blog.csdnimg.cn/20200530175525171.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_9_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200530175533702.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag==,size_9,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200530175620124.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20200530175631647.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20200530175659104.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20200530175709491.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20200530175719772.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag_size_16_color_FFFFFF_t_70_pic_center 5]: https://img-blog.csdnimg.cn/20200530175727481.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thcnJ5X3p6ag==,size_16,color_FFFFFF,t_70#pic_center