深度学习课程第一章重点梳理

刺骨的言语ヽ痛彻心扉 2023-07-12 03:57 16阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70]

## 1. 人脑的视觉机理 ##

**1.1 理解人脑的分层世界机理**

*  人脑视觉机理：  
    1981年的诺贝尔医学/生理学奖，发现可视皮层是分级的  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 1]
 *  人的视觉系统的信息处理是分级的。 从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。
 *  高层的特征是低层特征的组合， 从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。

**1.2 深度学习怎么模仿人脑机理进行特征学习的**

*  要学习的是特征的表达，那么关于特征，或者说关于这个层级特征，需要了解更深入。

> 特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。

> 如果数据被很好地表达成了特征，通常线性模型就能达到满意的精度。

## 2.特征 ##

**2.1特征颗粒度**  
具有结构性（含义） 的特征来表示颗粒度。比如是否具有车把手（handle），是否具有车轮（wheel），就很容易把摩托车和非摩托车区分开来，学习算法才能发挥作用。  
**2.2特征数量**  
任何一种方法，特征越多，给出的参考信息就越多，准确性会得到提升。但特征多意味着计算复杂，探索的空间大，可以用来训练的数据在每个特征上就会稀疏，都会带来各种问题，并不一定特征越多越好。t特征越多，可能不利于分类，特征数量是有一个最优值的。  
**2.3特征本质**  
边缘

## 3. 深度学习 ##

**3.1 基本思想**  
对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。 通过这种方式，就可以实现对输入信息进行分级表达了。

前面假设输出严格地等于输入，这个限制太严格，可以略微放松这个限制，例如只要使得输入与输出的差别尽可能地小， 这个放松会导致另外一类不同的Deep Learning方法。

> 深度学习本质是一个深层神经网络，基本思想是堆叠多个层，将上一层输出作为下一层输入，逐步实现对输入信息分级表达，让程序从中自动学习深入、抽象的特征。  
> 深度学习减少了人为干预，而这恰恰保留了数据客观性，因此可以提取出更加准确的特征。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 2]

**3.2 代表论文**  
2006年多伦多大学教授、机器学习领域泰斗Geoffrey Hinton在《科学》发表了一篇文章，开启了深度学习在学术界和工业界的浪潮

> **主要观点：**  
> 1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类。  
> 2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）有效克服，逐层初始化是通过无监督学习实现的。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200307003413907.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200307002445184.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200307010646182.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70