[吴恩达计算器学习] 正规方程

末蓝、 2023-01-20 08:08 23阅读 0赞

求解  
 X θ = y X\\theta=y Xθ=y  
给定矩阵X和向量y，求解 θ \\theta θ  
的最佳最小二乘解，就是加号逆（MP广义逆）\*y  
[求解方法][Link 1]

[矩阵论复习笔记][Link 2]

θ = ( X T X ) − 1 X T y \\theta=(X^\{T\}X)^\{-1\}X^\{T\}y θ=(XTX)−1XTy

首先扩充X举证，加入向量X0  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0wxNTU4MTk4NzI3_size_16_color_FFFFFF_t_70]  
之后直接求解即可

--------------------

梯度下降和正规方程的比较

<table> 
 <thead> 
  <tr> 
   <th>梯度下降</th> 
   <th>正规方程</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>需要进行学习率 <span><span><span> α \alpha </span><span><span><span style="height: 0.43056em; vertical-align: 0em;"></span><span style="margin-right: 0.0037em;">α</span></span></span></span></span>的调参</td> 
   <td>不需要学习率参数</td> 
  </tr> 
  <tr> 
   <td>需要多次迭代</td> 
   <td>不需要迭代</td> 
  </tr> 
  <tr> 
   <td>特征数n很大时候仍然可以很好的work</td> 
   <td>n很大的时候，矩阵求逆很慢（复杂度n的三次方）</td> 
  </tr> 
 </tbody> 
</table>

n>=10000时候倾向于梯度下降，否则倾向于正规方程

--------------------

**导致矩阵不可逆的两种原因**

**矩阵不可逆**就是说矩阵的行列式为0

1.包含了冗余的特征，使得计算行列式的时候，有一列是可以被消为0的，这样从这一列展开，得到的行列式就是0，进而矩阵就不可逆了

2.训练数少于特征数  
m<=n的时候

--------------------

**矩阵不可逆的解决措施**  
1.尝试去掉多余的特征

[Link 1]: https://blog.csdn.net/kokerf/article/details/72437294
[Link 2]: https://liyunhao.blog.csdn.net/article/details/110440808
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0wxNTU4MTk4NzI3_size_16_color_FFFFFF_t_70]: /images/20221021/6b03b2ce04b14d428e730e44f7087ee8.png