网络权重初始化方法总结（下）：Lecun、Xavier与He Kaiming

小灰灰 2023-06-15 11:06 47阅读 0赞

### 文章目录 ###

*  权重初始化最佳实践
 *  期望与方差的相关性质
 *  全连接层方差分析
 *  tanh下的初始化方法
 *   *  Lecun 1998
     *  Xavier 2010
 *  ReLU/PReLU下的初始化方法
 *   *  He 2015 for ReLU
     *  He 2015 for PReLU
     *  caffe中的实现
 *  小结
 *  参考

博客： [blog.shinelee.me][] | [博客园][Link 1] | [CSDN][]

# 权重初始化最佳实践 #

![前向传播][format_png]

![反向传播][format_png 1]

书接上回，全0、常数、过大、过小的权重初始化都是不好的，那我们需要什么样的初始化？

*  因为对权重 w w w的大小和正负缺乏先验，所以应初始化**在0附近**，但不能为全0或常数，所以要有一定的**随机性**，即**数学期望 E ( w ) = 0 E(w)=0 E(w)=0**；
 *  因为梯度消失和梯度爆炸，权重不易过大或过小，所以**要对权重的方差 V a r ( w ) Var(w) Var(w)有所控制**；
 *  深度神经网络的多层结构中，每个激活层的输出对后面的层而言都是输入，所以我们希望**不同激活层输出的方差相同**，即 V a r ( a \[ l \] ) = V a r ( a \[ l − 1 \] ) Var(a^\{\[l\]\})=Var(a^\{\[l-1\]\}) Var(a\[l\])=Var(a\[l−1\])，这也就意味**不同激活层输入的方差相同**，即 V a r ( z \[ l \] ) = V a r ( z \[ l − 1 \] ) Var(z^\{\[l\]\})=Var(z^\{\[l-1\]\}) Var(z\[l\])=Var(z\[l−1\])；
 *  如果忽略激活函数，前向传播和反向传播可以看成是权重矩阵（转置）的连续相乘。数值太大，前向时可能陷入饱和区，反向时可能梯度爆炸，数值太小，反向时可能梯度消失。所以初始化时，**权重的数值范围（方差）应考虑到前向和后向两个过程**；

权重的随机初始化过程可以看成是从某个概率分布随机采样的过程，常用的分布有高斯分布、均匀分布等，对权重期望和方差的控制可转化为概率分布的参数控制，**权重初始化问题也就变成了概率分布的参数设置问题**。

在上回中，我们知道反向传播过程同时受到权重矩阵和激活函数的影响，那么，在激活函数不同以及每层超参数配置不同（输入输出数量）的情况下，权重初始化该做怎样的适配？这里，将各家的研究成果汇总如下，

![weight initialization][]

其中，扇入 f a n \_ i n fan\\\_in fan\_in和扇出 f a n \_ o u t fan\\\_out fan\_out分别为当前全连接层的输入和输出数量，更准确地说，1个输出神经元与 f a n \_ i n fan\\\_in fan\_in个输入神经元有连接(the number of connections feeding into the node)，1个输入神经元与 f a n \_ o u t fan\\\_out fan\_out个输出神经元有连接(the number of connections flowing out of the node)，如下图所示（来自[链接][Link 2]），

![MW33zn.png][]

对于卷积层而言，其权重为 n n n个 c × h × w c\\times h \\times w c×h×w大小的卷积核，则一个输出神经元与 c × h × w c\\times h \\times w c×h×w个输入神经元有连接，即 f a n \_ i n = c × h × w fan\\\_in = c\\times h \\times w fan\_in=c×h×w，一个输入神经元与 n × h × w n\\times h \\times w n×h×w个输出神经元有连接，即 f a n \_ o u t = n × h × w fan\\\_out=n\\times h \\times w fan\_out=n×h×w。

# 期望与方差的相关性质 #

接下来，首先回顾一下期望与方差计算的相关性质。

对于随机变量 X X X，其方差可通过下式计算，  
 V a r ( X ) = E ( X 2 ) − ( E ( X ) ) 2 Var(X) = E(X^2) - (E(X))^2 Var(X)=E(X2)−(E(X))2  
若两个随机变量 X X X和 Y Y Y，它们相互独立，则其协方差为0，  
 C o v ( X , Y ) = 0 Cov(X, Y) = 0 Cov(X,Y)=0  
进一步可得 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)，推导如下，  
 C o v ( X , Y ) = E ( ( X − E ( X ) ) ( Y − E ( Y ) ) ) = E ( X Y ) − E ( X ) E ( Y ) = 0 \\begin\{aligned\} Cov(X, Y) &= E((X-E(X))(Y-E(Y))) \\\\ &= E(XY)-E(X)E(Y) =0 \\end\{aligned\} Cov(X,Y)=E((X−E(X))(Y−E(Y)))=E(XY)−E(X)E(Y)=0  
两个独立随机变量和的方差，  
 Var ⁡ ( X + Y ) = E ( ( X + Y ) 2 ) − ( E ( X + Y ) ) 2 = E ( X 2 + Y 2 + 2 X Y ) − ( E ( X ) + E ( Y ) ) 2 = ( E ( X 2 ) + E ( Y 2 ) + 2 E ( X Y ) ) − ( ( E ( X ) ) 2 + ( E ( Y ) ) 2 + 2 E ( X ) E ( Y ) ) = ( E ( X 2 ) + E ( Y 2 ) + 2 E ( X ) E ( Y ) ) − ( ( E ( X ) ) 2 + ( E ( Y ) ) 2 + 2 E ( X ) E ( Y ) ) = E ( X 2 ) − ( E ( X ) ) 2 + E ( Y 2 ) − ( E ( Y ) ) 2 = Var ⁡ ( X ) + Var ⁡ ( Y ) \\begin\{aligned\} \\operatorname\{Var\}(X+Y) &=E\\left((X+Y)^\{2\}\\right)-(E(X+Y))^\{2\} \\\\ &=E\\left(X^\{2\}+Y^\{2\}+2 X Y\\right)-(E(X)+E(Y))^\{2\} \\\\ &=\\left(E\\left(X^\{2\}\\right)+E\\left(Y^\{2\}\\right)+2 E(X Y)\\right)-\\left((E(X))^\{2\}+(E(Y))^\{2\}+2 E(X) E(Y)\\right) \\\\ &=\\left(E\\left(X^\{2\}\\right)+E\\left(Y^\{2\}\\right)+2 E(X) E(Y)\\right)-\\left((E(X))^\{2\}+(E(Y))^\{2\}+2 E(X) E(Y)\\right) \\\\ &=E\\left(X^\{2\}\\right)-(E(X))^\{2\}+E\\left(Y^\{2\}\\right)-(E(Y))^\{2\} \\\\ &=\\operatorname\{Var\}(X)+\\operatorname\{Var\}(Y) \\end\{aligned\} Var(X\+Y)=E((X\+Y)2)−(E(X\+Y))2=E(X2\+Y2\+2XY)−(E(X)\+E(Y))2=(E(X2)\+E(Y2)\+2E(XY))−((E(X))2\+(E(Y))2\+2E(X)E(Y))=(E(X2)\+E(Y2)\+2E(X)E(Y))−((E(X))2\+(E(Y))2\+2E(X)E(Y))=E(X2)−(E(X))2\+E(Y2)−(E(Y))2=Var(X)\+Var(Y)  
两个独立随机变量积的方差，  
 Var ⁡ ( X Y ) = E ( ( X Y ) 2 ) − ( E ( X Y ) ) 2 = E ( X 2 ) E ( Y 2 ) − ( E ( X ) E ( Y ) ) 2 = ( Var ⁡ ( X ) + ( E ( X ) ) 2 ) ( Var ⁡ ( Y ) + ( E ( Y ) ) 2 ) − ( E ( X ) ) 2 ( E ( Y ) ) 2 = Var ⁡ ( X ) Var ⁡ ( Y ) + ( E ( X ) ) 2 Var ⁡ ( Y ) + Var ⁡ ( X ) ( E ( Y ) ) 2 \\begin\{aligned\} \\operatorname\{Var\}(X Y) &=E\\left((X Y)^\{2\}\\right)-(E(X Y))^\{2\} \\\\ &=E\\left(X^\{2\}\\right) E\\left(Y^\{2\}\\right)-(E(X) E(Y))^\{2\} \\\\ &=\\left(\\operatorname\{Var\}(X)+(E(X))^\{2\}\\right)\\left(\\operatorname\{Var\}(Y)+(E(Y))^\{2\}\\right)-(E(X))^\{2\}(E(Y))^\{2\} \\\\ &=\\operatorname\{Var\}(X) \\operatorname\{Var\}(Y)+(E(X))^\{2\} \\operatorname\{Var\}(Y)+\\operatorname\{Var\}(X)(E(Y))^\{2\} \\end\{aligned\} Var(XY)=E((XY)2)−(E(XY))2=E(X2)E(Y2)−(E(X)E(Y))2=(Var(X)\+(E(X))2)(Var(Y)\+(E(Y))2)−(E(X))2(E(Y))2=Var(X)Var(Y)\+(E(X))2Var(Y)\+Var(X)(E(Y))2

# 全连接层方差分析 #

对线性组合层+非线性激活层，计算如下所示，其中 z i \[ l − 1 \] z\_i^\{\[l-1\]\} zi\[l−1\]为 l − 1 l-1 l−1层第 i i i个激活函数的输入， a i \[ l − 1 \] a\_i^\{\[l-1\]\} ai\[l−1\]为其输出， w i j \[ l \] w\_\{ij\}^\{\[l\]\} wij\[l\]为第 l l l层第 i i i个输出神经元与第 j j j个输入神经元连接的权重， b \[ l \] b^\{\[l\]\} b\[l\]为偏置，计算方式如下  
 a i \[ l − 1 \] = f ( z i \[ l − 1 \] ) z i \[ l \] = ∑ j = 1 f a n \_ i n w i j \[ l \]   a j \[ l − 1 \] + b \[ l \] a i \[ l \] = f ( z i \[ l \] ) \\begin\{aligned\}a\_i^\{\[l-1\]\} &= f(z\_i^\{\[l-1\]\}) \\\\z\_i^\{\[l\]\} &= \\sum\_\{j=1\}^\{fan\\\_in\} w\_\{ij\}^\{\[l\]\} \\ a\_j^\{\[l-1\]\}+b^\{\[l\]\} \\\\a\_i^\{\[l\]\} &= f(z\_i^\{\[l\]\})\\end\{aligned\} ai\[l−1\]zi\[l\]ai\[l\]=f(zi\[l−1\])=j=1∑fan\_inwij\[l\] aj\[l−1\]\+b\[l\]=f(zi\[l\])  
**在初始化阶段**，将每个权重以及每个输入视为随机变量，可做如下假设和推断，

*  网络输入的每个元素 x 1 , x 2 , … x\_1, x\_2, \\dots x1,x2,…为**独立同分布**；
 *  每层的**权重随机初始化**，同层的权重 w i 1 , w i 2 , … w\_\{i1\}, w\_\{i2\}, \\dots wi1,wi2,…**独立同分布**，且期望 E ( w ) = 0 E(w)=0 E(w)=0；
 *  **每层的权重 w w w和输入 a a a随机初始化且相互独立**，所以两者之积构成的随机变量 w i 1 a 1 , w i 2 a 2 , … w\_\{i1\}a\_1, w\_\{i2\}a\_2, \\dots wi1a1,wi2a2,…亦相互独立，且同分布；
 *  根据上面的计算公式，同层的 z 1 , z 2 , … z\_1,z\_2,\\dots z1,z2,…为**独立同分布**，同层的  a 1 , a 2 , … a\_1, a\_2, \\dots a1,a2,…也为**独立同分布**；

需要注意的是，上面独立同分布的假设仅在初始化阶段成立，当网络开始训练，根据反向传播公式，权重更新后不再相互独立。

**在初始化阶段**，输入 a a a与输出 z z z方差间的关系如下，令 b = 0 b=0 b=0，  
 V a r ( z ) = V a r ( ∑ j = 1 f a n \_ i n w i j   a j ) = f a n \_ i n × ( V a r ( w a ) ) = f a n \_ i n × ( V a r ( w )   V a r ( a ) + E ( w ) 2 V a r ( a ) + V a r ( w ) E ( a ) 2 ) = f a n \_ i n × ( V a r ( w )   V a r ( a ) + V a r ( w ) E ( a ) 2 ) \\begin\{aligned\} Var(z) &=Var(\\sum\_\{j=1\}^\{fan\\\_in\} w\_\{ij\} \\ a\_j) \\\\ &= fan\\\_in \\times (Var(wa)) \\\\ &= fan\\\_in \\times (Var(w) \\ Var(a) + E(w)^2 Var(a) + Var(w) E(a)^2) \\\\ &= fan\\\_in \\times (Var(w) \\ Var(a) + Var(w) E(a)^2) \\end\{aligned\} Var(z)=Var(j=1∑fan\_inwij aj)=fan\_in×(Var(wa))=fan\_in×(Var(w) Var(a)\+E(w)2Var(a)\+Var(w)E(a)2)=fan\_in×(Var(w) Var(a)\+Var(w)E(a)2)

# tanh下的初始化方法 #

**若激活函数为线性恒等映射**，即 f ( x ) = x f(x)=x f(x)=x，则 a = z a = z a=z，自然 E ( a ) = E ( z ) E(a)=E(z) E(a)=E(z)， V a r ( a ) = V a r ( z ) Var(a) = Var(z) Var(a)=Var(z)。

因为网络输入的期望 E ( x ) = 0 E(x)=0 E(x)=0，每层权重的期望 E ( w ) = 0 E(w) = 0 E(w)=0，在前面相互独立的假设下，根据公式 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)，可知 E ( a ) = E ( z ) = ∑ E ( w a ) = ∑ E ( w ) E ( a ) = 0 E(a)=E(z)=\\sum E(wa)=\\sum E(w)E(a)=0 E(a)=E(z)=∑E(wa)=∑E(w)E(a)=0。由此可得，  
 V a r ( a \[ l \] ) = V a r ( z \[ l \] ) = f a n \_ i n × V a r ( w ) × V a r ( a \[ l − 1 \] ) Var(a^\{\[l\]\}) = Var(z^\{\[l\]\}) = fan\\\_in \\times Var(w) \\times Var(a^\{\[l-1\]\}) Var(a\[l\])=Var(z\[l\])=fan\_in×Var(w)×Var(a\[l−1\])  
更进一步地，令 n \[ l \] n^\{\[l\]\} n\[l\]为第 l l l层的输出数量（ f a n \_ o u t fan\\\_out fan\_out），则第 l l l层的输入数量（$fan\_in  ） 即 前 一 层 的 输 出 数 量 为 ）即前一层的输出数量为 ）即前一层的输出数量为n^\{\[l-1\]\} 。 第 。第 。第L$层输出的方差为

V a r ( a L ) = V a r ( z \[ L \] ) = n \[ L − 1 \] V a r ( w \[ L \] ) V a r ( a \[ L − 1 \] ) = \[ ∏ l = 1 L n \[ l − 1 \] V a r ( w \[ l \] ) \] V a r ( x ) \\begin\{aligned\} Var(a^\{L\}) = Var(z^\{\[L\]\}) &= n^\{\[L-1\]\} Var(w^\{\[L\]\}) Var(a^\{\[L-1\]\}) \\\\ &=\\left\[\\prod\_\{l=1\}^\{L\} n^\{\[l-1\]\} Var(w^\{\[l\]\})\\right\] \{Var\}(x) \\end\{aligned\} Var(aL)=Var(z\[L\])=n\[L−1\]Var(w\[L\])Var(a\[L−1\])=\[l=1∏Ln\[l−1\]Var(w\[l\])\]Var(x)

反向传播时，需要将上式中的 n \[ l − 1 \] n^\{\[l-1\]\} n\[l−1\]替换为 n \[ l \] n^\{\[l\]\} n\[l\]（即 f a n \_ i n fan\\\_in fan\_in替换为 f a n \_ o u t fan\\\_out fan\_out），同时将 x x x替换为损失函数对网络输出的偏导。

所以，经过 t t t层，前向传播和反向传播的方差，将分别放大或缩小  
 ∏ t n \[ l − 1 \] V a r ( w \[ l \] ) ∏ t n \[ l \] V a r ( w \[ l \] ) \\prod^\{t\} n^\{\[l-1\]\} Var(w^\{\[l\]\}) \\\\ \\prod^\{t\} n^\{\[l\]\} Var(w^\{\[l\]\}) ∏tn\[l−1\]Var(w\[l\])∏tn\[l\]Var(w\[l\])  
**为了避免梯度消失和梯度爆炸，最好保持这个系数为1。**

需要注意的是，**上面的结论是在激活函数为恒等映射的条件下得出的，而tanh激活函数在0附近可近似为恒等映射**，即$tanh(x) \\approx x $。

## Lecun 1998 ##

Lecun 1998年的paper [Efficient BackProp][] ，在输入Standardization以及采用tanh激活函数的情况下，令 n \[ l − 1 \] V a r ( w \[ l \] ) = 1 n^\{\[l-1\]\}Var(w^\{\[l\]\})=1 n\[l−1\]Var(w\[l\])=1，即在初始化阶段让前向传播过程每层方差保持不变，权重从如下高斯分布采样，其中第 l l l层的 f a n \_ i n = n \[ l − 1 \] fan\\\_in = n^\{\[l-1\]\} fan\_in=n\[l−1\]，  
 W ∼ N ( 0 , 1 f a n \_ i n ) W \\sim N(0, \\frac\{1\}\{fan\\\_in\}) W∼N(0,fan\_in1)

## Xavier 2010 ##

在paper [Xavier-2010-Understanding the difficulty of training deep feedforward neural networks][]中，Xavier和Bengio同时考虑了前向过程和反向过程，使用 f a n \_ i n fan\\\_in fan\_in和 f a n \_ o u t fan\\\_out fan\_out的平均数对方差进行归一化，权重从如下高斯分布中采样，  
 W ∼ N ( 0 , 2 f a n \_ i n + f a n \_ o u t ) W \\sim N(0, \\frac\{2\}\{fan\\\_in + fan\\\_out\}) W∼N(0,fan\_in\+fan\_out2)  
同时文章中还提及了从均匀分布中初始化的方法，因为均匀分布的方差与分布范围的关系为  
 V a r ( U ( − n , n ) ) = n 2 3 Var(U(-n, n)) = \\frac\{n^2\}\{3\} Var(U(−n,n))=3n2  
若令 V a r ( U ( − n , n ) ) = 2 f a n \_ i n + f a n \_ o u t Var(U(-n, n)) = \\frac\{2\}\{fan\\\_in + fan\\\_out\} Var(U(−n,n))=fan\_in\+fan\_out2，则有  
 n = 6 f a n \_ i n + f a n \_ o u t n = \\frac\{\\sqrt\{6\}\}\{\\sqrt\{fan\\\_in + fan\\\_out\}\} n=fan\_in\+fan\_out6  
即权重也可从如下均匀分布中采样，  
 W ∼ U ( − 6 f a n \_ i n + f a n \_ o u t , 6 f a n \_ i n + f a n \_ o u t ) W \\sim U(-\\frac\{\\sqrt\{6\}\}\{\\sqrt\{fan\\\_in + fan\\\_out\}\}, \\frac\{\\sqrt\{6\}\}\{\\sqrt\{fan\\\_in + fan\\\_out\}\}) W∼U(−fan\_in\+fan\_out6,fan\_in\+fan\_out6)  
在使用不同激活函数的情况下，是否使用Xavier初始化方法对test error的影响如下所示，图例中带 N N N的表示使用Xavier初始化方法，Softsign一种为类tanh但是改善了饱和区的激活函数，图中可以明显看到tanh 和tanh N在test error上的差异。

![test error][]

论文还有更多训练过程中的权重和梯度对比图示，这里不再贴出，具体可以参见论文。

# ReLU/PReLU下的初始化方法 #

搬运一下上面的公式，  
 V a r ( z ) = f a n \_ i n × ( V a r ( w )   V a r ( a ) + V a r ( w ) E ( a ) 2 ) Var(z)= fan\\\_in \\times (Var(w) \\ Var(a) + Var(w) E(a)^2) Var(z)=fan\_in×(Var(w) Var(a)\+Var(w)E(a)2)  
因为激活函数tanh在0附近可近似为恒等映射，所以在初始化阶段可以认为 E ( a ) = 0 E(a) = 0 E(a)=0，但是对于ReLU激活函数，其输出均大于等于0，不存在负数，所以 E ( a ) = 0 E(a) = 0 E(a)=0的假设不再成立。

![activation functions][]

但是，我们可以进一步推导得到，  
 V a r ( z ) = f a n \_ i n × ( V a r ( w )   V a r ( a ) + V a r ( w ) E ( a ) 2 ) = f a n \_ i n × ( V a r ( w ) ( E ( a 2 ) − E ( a ) 2 ) + V a r ( w ) E ( a ) 2 ) = f a n \_ i n × V a r ( w ) × E ( a 2 ) \\begin\{aligned\} Var(z) &= fan\\\_in \\times (Var(w) \\ Var(a) + Var(w) E(a)^2) \\\\ &= fan\\\_in \\times (Var(w) (E(a^2) - E(a)^2)+Var(w)E(a)^2) \\\\ &= fan\\\_in \\times Var(w) \\times E(a^2) \\end\{aligned\} Var(z)=fan\_in×(Var(w) Var(a)\+Var(w)E(a)2)=fan\_in×(Var(w)(E(a2)−E(a)2)\+Var(w)E(a)2)=fan\_in×Var(w)×E(a2)

## He 2015 for ReLU ##

对于某个具体的层 l l l则有，  
 V a r ( z \[ l \] ) = f a n \_ i n × V a r ( w \[ l \] ) × E ( ( a \[ l − 1 \] ) 2 ) Var(z^\{\[l\]\}) = fan\\\_in \\times Var(w^\{\[l\]\}) \\times E((a^\{\[l-1\]\})^2) Var(z\[l\])=fan\_in×Var(w\[l\])×E((a\[l−1\])2)  
如果假定 w \[ l − 1 \] w\{\[l-1\]\} w\[l−1\]来自某个关于原点对称的分布，因为 E ( w \[ l − 1 \] ) = 0 E(w^\{\[l-1\]\}) = 0 E(w\[l−1\])=0，且 b \[ l − 1 \] = 0 b^\{\[l-1\]\} = 0 b\[l−1\]=0，则可以认为 z \[ l − 1 \] z^\{\[l-1\]\} z\[l−1\]分布的期望为0，且关于原点0对称。

对于一个关于原点0对称的分布，经过ReLU后，仅保留大于0的部分，则有  
 V a r ( x ) = ∫ − ∞ + ∞ ( x − 0 ) 2 p ( x ) d x = 2 ∫ 0 + ∞ x 2 p ( x ) d x = 2 E ( max ⁡ ( 0 , x ) 2 ) \\begin\{aligned\}Var(x) &= \\int\_\{-\\infty\}^\{+\\infty\}(x-0)^2 p(x) dx \\\\&= 2 \\int\_\{0\}^\{+\\infty\}x^2 p(x) dx \\\\&= 2 E(\\max(0, x)^2)\\end\{aligned\} Var(x)=∫−∞\+∞(x−0)2p(x)dx=2∫0\+∞x2p(x)dx=2E(max(0,x)2)  
所以，上式可进一步得出，  
 V a r ( z \[ l \] ) = f a n \_ i n × V a r ( w \[ l \] ) × E ( ( a \[ l − 1 \] ) 2 ) = 1 2 × f a n \_ i n × V a r ( w \[ l \] ) × V a r ( z \[ l − 1 \] ) \\begin \{aligned\}Var(z^\{\[l\]\}) &= fan\\\_in \\times Var(w^\{\[l\]\}) \\times E((a^\{\[l-1\]\})^2) \\\\&= \\frac\{1\}\{2\} \\times fan\\\_in \\times Var(w^\{\[l\]\}) \\times Var(z^\{\[l-1\]\}) \\end\{aligned\} Var(z\[l\])=fan\_in×Var(w\[l\])×E((a\[l−1\])2)=21×fan\_in×Var(w\[l\])×Var(z\[l−1\])  
类似地，需要放缩系数为1，即  
 1 2 × f a n \_ i n × V a r ( w \[ l \] ) = 1 V a r ( w ) = 2 f a n \_ i n \\frac\{1\}\{2\} \\times fan\\\_in \\times Var(w^\{\[l\]\}) = 1 \\\\ Var(w) = \\frac\{2\}\{fan\\\_in\} 21×fan\_in×Var(w\[l\])=1Var(w)=fan\_in2  
即从前向传播考虑，每层的权重初始化为  
 W ∼ N ( 0 , 2 f a n \_ i n ) W \\sim N(0, \\frac\{2\}\{fan\\\_in\}) W∼N(0,fan\_in2)  
同理，从后向传播考虑，每层的权重初始化为  
 W ∼ N ( 0 , 2 f a n \_ o u t ) W \\sim N(0, \\frac\{2\}\{fan\\\_out\}) W∼N(0,fan\_out2)  
**文中提到，单独使用上面两个中的哪一个都可以**，因为当网络结构确定之后，两者对方差的放缩系数之比为常数，即每层扇入扇出之比的连乘，解释如下，

![He initialization][]

使用Xavier和He初始化，在激活函数为ReLU的情况下，test error下降对比如下，22层的网络，He的初始化下降更快，30层的网络，Xavier不下降，但是He正常下降。

![Xavier vs He][]

## He 2015 for PReLU ##

对于PReLU激活函数，负向部分为 f ( x ) = a x f(x) = ax f(x)=ax，如下右所示，

![ReLU and PReLU][]

对于PReLU，求取 E ( ( a \[ l − 1 \] ) 2 ) E((a^\{\[l-1\]\})^2) E((a\[l−1\])2)可对正向和负向部分分别积分，不难得出，  
 1 2 ( 1 + a 2 ) × f a n \_ i n × V a r ( w \[ l \] ) = 1 V a r ( w ) = 2 ( 1 + a 2 ) f a n \_ i n W ∼ N ( 0 , 2 ( 1 + a 2 ) f a n \_ i n ) W ∼ N ( 0 , 2 ( 1 + a 2 ) f a n \_ o u t ) \\frac\{1\}\{2\} (1 + a^2) \\times fan\\\_in \\times Var(w^\{\[l\]\}) = 1 \\\\Var(w) = \\frac\{2\}\{(1 + a^2) fan\\\_in\} \\\\W \\sim N(0, \\frac\{2\}\{(1 + a^2) fan\\\_in\}) \\\\W \\sim N(0, \\frac\{2\}\{(1 + a^2) fan\\\_out\}) 21(1\+a2)×fan\_in×Var(w\[l\])=1Var(w)=(1\+a2)fan\_in2W∼N(0,(1\+a2)fan\_in2)W∼N(0,(1\+a2)fan\_out2)

## caffe中的实现 ##

尽管He在paper中说单独使用 f a n \_ i n fan\\\_in fan\_in或 f a n \_ o u t fan\\\_out fan\_out哪个都可以，但是，在Caffe的实现中，还是提供了两者平均值的方式，如下所示，当然默认是使用 f a n \_ i n fan\\\_in fan\_in。

![MSRA in Caffe][]

# 小结 #

至此，对深度神经网络权重初始化方法的介绍已告一段落。虽然因为BN层的提出，权重初始化可能已不再那么紧要。但是，对经典权重初始化方法经过一番剖析后，相信对神经网络运行机制的理解也会更加深刻。

以上。

# 参考 #

*  [cs231n-Neural Networks Part 2: Setting up the Data and the Loss][cs231n-Neural Networks Part 2_ Setting up the Data and the Loss]
 *  [paper-Efficient BackProp][Efficient BackProp]
 *  [paper-Understanding the difficulty of training deep feedforward neural networks][Xavier-2010-Understanding the difficulty of training deep feedforward neural networks]
 *  [paper-Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification][paper-Delving Deep into Rectifiers_ Surpassing Human-Level Performance on ImageNet Classification]
 *  [wiki-Variance][]
 *  [Initializing neural networks][]
 *  [Weight Initialization in Neural Networks: A Journey From the Basics to Kaiming][Weight Initialization in Neural Networks_ A Journey From the Basics to Kaiming]
 *  [Kaiming He initialization][]
 *  [Choosing Weights: Small Changes, Big Differences][Choosing Weights_ Small Changes_ Big Differences]
 *  [Understand Kaiming Initialization and Implementation Detail in PyTorch][]

[blog.shinelee.me]: https://blog.shinelee.me/
[Link 1]: https://www.cnblogs.com/shine-lee/
[CSDN]: https://blog.csdn.net/blogshinelee
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzExLzA1L01wQkZSVS5wbmc?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzExLzA1L01wQlZzSi5wbmc?x-oss-process=image/format,png
[weight initialization]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzExLzIwL01mSWhpNi5wbmc?x-oss-process=image/format,png
[Link 2]: https://software.intel.com/zh-cn/articles/step-by-step-explaination-on-neural-network-backward-propagation-process
[MW33zn.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzExLzIwL01XMzN6bi5wbmc?x-oss-process=image/format,png
[Efficient BackProp]: http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf
[Xavier-2010-Understanding the difficulty of training deep feedforward neural networks]: http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
[test error]: https://s2.ax1x.com/2019/11/20/Mfi2z4.png
[activation functions]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzExLzA2L01QekxCNi5wbmc?x-oss-process=image/format,png
[He initialization]: https://s2.ax1x.com/2019/11/20/Mf6E0U.png
[Xavier vs He]: https://s2.ax1x.com/2019/11/20/Mf6YAe.png
[ReLU and PReLU]: https://s2.ax1x.com/2019/11/20/Mf2jvn.png
[MSRA in Caffe]: https://s2.ax1x.com/2019/11/20/Mf2Nh4.png
[cs231n-Neural Networks Part 2_ Setting up the Data and the Loss]: http://cs231n.github.io/neural-networks-2/
[paper-Delving Deep into Rectifiers_ Surpassing Human-Level Performance on ImageNet Classification]: https://arxiv.org/abs/1502.01852
[wiki-Variance]: https://wiki2.org/en/Variance
[Initializing neural networks]: https://www.deeplearning.ai/ai-notes/initialization/
[Weight Initialization in Neural Networks_ A Journey From the Basics to Kaiming]: https://towardsdatascience.com/weight-initialization-in-neural-networks-a-journey-from-the-basics-to-kaiming-954fb9b47c79
[Kaiming He initialization]: https://medium.com/@shoray.goel/kaiming-he-initialization-a8d9ed0b5899
[Choosing Weights_ Small Changes_ Big Differences]: https://intoli.com/blog/neural-network-initialization/
[Understand Kaiming Initialization and Implementation Detail in PyTorch]: https://towardsdatascience.com/understand-kaiming-initialization-and-implementation-detail-in-pytorch-f7aa967e9138