[ch02-02] 非线性反向传播

拼搏现实的明天。 2023-06-16 12:00 26阅读 0赞

系列博客，原文在笔者所维护的github上：[https://aka.ms/beginnerAI][https_aka.ms_beginnerAI]，  
点击star加星不要吝啬，星越多笔者越努力。

## 2.2 非线性反向传播 ##

### 2.2.1 提出问题 ###

在上面的线性例子中，我们可以发现，误差一次性地传递给了初始值w和b，即，只经过一步，直接修改w和b的值，就能做到误差校正。因为从它的计算图看，无论中间计算过程有多么复杂，它都是线性的，所以可以一次传到底。缺点是这种线性的组合最多只能解决线性问题，不能解决更复杂的问题。这个我们在神经网络基本原理中已经阐述过了，需要有激活函数连接两个线性单元。

下面我们看一个非线性的例子，如图2-8所示。

图2-8 非线性的反向传播

其中\\(1<x<=10，0<y<2.15\\)。假设有5个人分别代表x、a、b、c、y：

#### 正向过程 ####

1.  第1个人，输入层，随机输入第一个x值，x取值范围(1,10\]，假设第一个数是2
2.  第2个人，第一层网络计算，接收第1个人传入x的值，计算：\\(a=x^2\\)
3.  第3个人，第二层网络计算，接收第2个人传入a的值，计算b：\\(b=\\ln (a)\\)
4.  第4个人，第三层网络计算，接收第3个人传入b的值，计算c：\\(c=\\sqrt\{b\}\\)
5.  第5个人，输出层，接收第4个人传入c的值

#### 反向过程 ####

1.  第5个人，计算y与c的差值：\\(\\Delta c = c - y\\)，传回给第4个人
2.  第4个人，接收第5个人传回\\(\\Delta c，计算\\Delta b：\\Delta b = \\Delta c \\cdot 2\\sqrt\{b\}\\)
3.  第3个人，接收第4个人传回\\(\\Delta b，计算\\Delta a：\\Delta a = \\Delta b \\cdot a\\)
4.  第2个人，接收第3个人传回\\(\\Delta a，计算\\Delta x：\\Delta x = \\Delta a / 2x\\)
5.  第1个人，接收第2个人传回\\(\\Delta x，更新x：x = x - \\Delta x\\)，回到第1步

提出问题：假设我们想最后得到c=2.13的值，x应该是多少？（误差小于0.001即可）

### 2.2.2 数学解析解 ###

\\\[c=\\sqrt\{b\}=\\sqrt\{\\ln(a)\}=\\sqrt\{\\ln(x^2)\}=2.13\\\]  
\\\[x = 9.6653\\\]

### 2.2.3 梯度迭代解 ###

\\\[ \\frac\{da\}\{dx\}=\\frac\{d(x^2)\}\{dx\}=2x=\\frac\{\\Delta a\}\{\\Delta x\} \\tag\{1\} \\\]  
\\\[ \\frac\{db\}\{da\} =\\frac\{d(\\ln\{a\})\}\{da\} =\\frac\{1\}\{a\} = \\frac\{\\Delta b\}\{\\Delta a\} \\tag\{2\} \\\]  
\\\[ \\frac\{dc\}\{db\}=\\frac\{d(\\sqrt\{b\})\}\{db\}=\\frac\{1\}\{2\\sqrt\{b\}\}=\\frac\{\\Delta c\}\{\\Delta b\} \\tag\{3\} \\\]  
因此得到如下一组公式，可以把最后一层\\(\\Delta c\\)的误差一直反向传播给最前面的\\(\\Delta x\\)，从而更新x值：  
\\\[ \\Delta c = c - y \\tag\{4\} \\\]  
\\\[ \\Delta b = \\Delta c \\cdot 2\\sqrt\{b\} \\tag\{根据式3\} \\\]  
\\\[ \\Delta a = \\Delta b \\cdot a \\tag\{根据式2\} \\\]  
\\\[ \\Delta x = \\Delta a / 2x \\tag\{根据式1\} \\\]

我们给定初始值\\(x=2，\\Delta x=0\\)，依次计算结果如表2-2。

表2-2 正向与反向的迭代计算

<table> 
 <thead> 
  <tr> 
   <th>方向</th> 
   <th>公式</th> 
   <th>迭代1</th> 
   <th>迭代2</th> 
   <th>迭代3</th> 
   <th>迭代4</th> 
   <th>迭代5</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>正向</td> 
   <td><span>\(x=x-\Delta x\)</span></td> 
   <td>2</td> 
   <td>4.243</td> 
   <td>7.344</td> 
   <td>9.295</td> 
   <td>9.665</td> 
  </tr> 
  <tr> 
   <td>正向</td> 
   <td><span>\(a=x^2\)</span></td> 
   <td>4</td> 
   <td>18.005</td> 
   <td>53.934</td> 
   <td>86.404</td> 
   <td>93.233</td> 
  </tr> 
  <tr> 
   <td>正向</td> 
   <td><span>\(b=\ln(a)\)</span></td> 
   <td>1.386</td> 
   <td>2.891</td> 
   <td>3.988</td> 
   <td>4.459</td> 
   <td>4.535</td> 
  </tr> 
  <tr> 
   <td>正向</td> 
   <td><span>\(c=\sqrt{b}\)</span></td> 
   <td>1.177</td> 
   <td>1.700</td> 
   <td>1.997</td> 
   <td>2.112</td> 
   <td>2.129</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>标签值y</td> 
   <td>2.13</td> 
   <td>2.13</td> 
   <td>2.13</td> 
   <td>2.13</td> 
   <td>2.13</td> 
  </tr> 
  <tr> 
   <td>反向</td> 
   <td><span>\(\Delta c = c - y\)</span></td> 
   <td>-0.953</td> 
   <td>-0.430</td> 
   <td>-0.133</td> 
   <td>-0.018</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>反向</td> 
   <td><span>\(\Delta b = \Delta c \cdot 2\sqrt{b}\)</span></td> 
   <td>-2.243</td> 
   <td>-1.462</td> 
   <td>-0.531</td> 
   <td>-0.078</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>反向</td> 
   <td><span>\(\Delta a = \Delta b \cdot a\)</span></td> 
   <td>-8.973</td> 
   <td>-26.317</td> 
   <td>-28.662</td> 
   <td>-6.698</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>反向</td> 
   <td><span>\(\Delta x = \Delta a / 2x\)</span></td> 
   <td>-2.243</td> 
   <td>-3.101</td> 
   <td>-1.951</td> 
   <td>-0.360</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

表2-2，先看“迭代-1”列，从上到下是一个完整的正向+反向的过程，最后一行是-2.243，回到“迭代-2”列的第一行，2-(-2.243)=4.243，然后继续向下。到第5轮时，正向计算得到的c=2.129，非常接近2.13了，迭代结束。

运行示例代码的话，可以得到如下结果：

how to play: 1) input x, 2) calculate c, 3) input target number but not faraway from c
    input x as initial number(1.2,10), you can try 1.3:
    2
    c=1.177410
    input y as target number(0.5,2), you can try 1.8:
    2.13
    forward...
    x=2.000000,a=4.000000,b=1.386294,c=1.177410
    backward...
    delta_c=-0.952590, delta_b=-2.243178, delta_a=-8.972712, delta_x=-2.243178
    ......
    forward...
    x=9.655706,a=93.232666,b=4.535098,c=2.129577
    backward...
    done!

为节省篇幅只列出了第一步和最后一步（第5步）的结果，第一步时c=1.177410，最后一步时c=2.129577，停止迭代。

### 代码位置 ###

ch02, Level2

[https_aka.ms_beginnerAI]: https://aka.ms/beginnerAI