深度学习笔记(7.numpy实现DNN梯度检验)

向右看齐 2023-06-04 06:58 38阅读 0赞

### 前言 ###

梯度检验反向传播求导是否正确，直接用之前实现的dnn和课件给的程序检验。  
程序地址：[https://github.com/ConstellationBJUT/Coursera-DL-Study-Notes/tree/master/class2\_week1\_practice][https_github.com_ConstellationBJUT_Coursera-DL-Study-Notes_tree_master_class2_week1_practice]

### 主要公式和实现 ###

计算每个参数的近似梯度，最后求欧氏距离，判断是否计算正确。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ_size_16_color_FFFFFF_t_70]

### 涉及程序文件 ###

dnn\_gradient\_check.py

### 结论 ###

课件给的结果  
（1）求导公式写错结果：应该都为1  
There is a mistake in the backward propagation! difference = 0.2850931567761624  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ_size_16_color_FFFFFF_t_70 1]  
（2）修正后还是大了一点：  
There is a mistake in the backward propagation! difference = 1.1890913023330276e-07  
（3）自测实验结果，挺好的：  
The gradient is correct!  
3.137502547018782e-09

[https_github.com_ConstellationBJUT_Coursera-DL-Study-Notes_tree_master_class2_week1_practice]: https://github.com/ConstellationBJUT/Coursera-DL-Study-Notes/tree/master/class2_week1_practice
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ_size_16_color_FFFFFF_t_70]: /images/20230601/989c10b963134be99c8ec8c36645db7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ_size_16_color_FFFFFF_t_70 1]: /images/20230601/b498f39e83f74119b0c0fadf5c7a425d.png