【深度学习】常用算法生成对抗网络、自编码网络、多层感知机、反向传播等讲解（图文解释超详细）

傷城~ 2023-09-30 17:31 60阅读 0赞

> **觉得有帮助请点赞关注收藏~~~**

## 一、生成对抗网络GAN ##

Generative Adversarial Network 两个组件组成：一个生成器，用于生成虚拟数据，另一个是鉴别器，用于(GAN)生成式深度学习算法，可创建类似于训练数据的新数据实例。

GAN 工作原理概要如下：

（1）初始训练期间，生成器产生虚拟数据，并输入鉴别器。

（2）鉴别器基于学习模型区分生成器的假数据和真实样本数据。

（3）对抗网络将鉴别结果发送给生成器和鉴别器以更新相应模型。

![14a01e70a1904d64a5ee36c1af7a9f04.png][]

## 二、自编码网络 ##

自编码器(Autoencoder)是神经网络的一种特殊形式，将输入复制到输出，因此也可以称为恒等函数。其核心思想是将输入复制到输出时，神经网络学习输入的特定属性。

其核心思想是将输入复制到输出时，神经网络学习输入的特定属性。自编码器的主要用途如下

> 1：降维：通过将多维数据转换为较小维度数据 降低数据复杂性
> 
> 2：特征学习：学习数据的特定或者重要属性
> 
> 3：生成建模：通过自编码器学习数据样本特征来生成新的数据样本

![d86b24934bef48cd87a3c02a264ec228.png][]

## 三、强化学习 （增强学习） ##

增强学习和监督学习的区别：

（1） 增强学习是试错学习(Trail-and-error)，由于没有直接的标注信息提供参考，需要不断与环境进行交互，通过试错的方式来获得最优行为策略。

（2） 激励延迟（Delayed Return），增强学习缺乏参考信息，激励在时间上通常延迟发生，因此如何优化分配激励成为不能忽略的课题。

## 四、多层感知机MLP ##

多层感知机属于前馈神经网络，具有激活功能，多层感知机由完全连接的输入层和输出层组成，它们具有相同的输入层和输出层，但可能有多个隐藏层，隐藏层输出可以通过激活函数进行变换。

原理：

（1）将数据馈送到网络的输入层。

（2）基于输入层和隐藏层之间的权重执行计算。多层感知机使用激活函数确定触发节点的信息。常用的激活函数包括 ReLU、Sigmoid 函数和 Tanh。

（3）训练模型获得相关性以及变量之间的依赖关系。

## 五、自组织映射神经网络SOM ##

它可以减少数据处理的维度，不同于基于损失函数反向传递算法的神经网络，自组织映射网络使用竞争学习策略，依靠神经元互相竞争实现优化网络的目标

工作原理：

（1）为所有节点初始化权重，并随机选择一个输入样本。

（2）查找与随机输入样本的最优相似度。

（3）基于最优相似度遴选优胜邻域节点，更新优胜领域节点的权重信息。

（4）迭代计算，直到满足迭代次数或者要求。

## 六、径向基函数网络RBFN ##

它是一种特殊类型的前馈神经网络，它使用径向基函数作为激活函数，径向基函数是沿径向对称的函数，径向基函数网络由输入层，隐藏层和输出层组成。

工作原理：

（1）接收信息输入，此时不执行变换计算。

（2）在隐藏层对数据进行变换，隐藏层节点使用输入与中心向量的距离（如欧式距离）作为径向基函数的自变量，这与反向传播网络常用输入与权向量的内积作为自变量存在区别。

（3）输出层对隐藏层的输出信息执行加权运算，作为神经网络的结果。

## 七、反向传播算法BP ##

BP神经网络基于梯度下降法，将M维数据输入欧式空间映射到N维输出欧式空间，由正向传播过程和反向传播过程组成。

信号从层传递到层（黑色箭头），误差没有达到预期值时，误差传播方向与信号方向相反(绿色箭头)。

![c56f73049eb14cbd871ddb89260c347f.png][]

## 八、连接时序分类CTC ##

连接时序分类（Connectionist Temporal Classification，CTC）主要用于处理序列标注问题中的输入与输出标签的对齐问题。基于传统方法的自然语言处理，语音转换为数据以后，需明确单帧信息对应的标签才能执行有效的训练，因此在训练数据之前需要执行语音信息对齐的预处理。其缺点是工时量消耗大，在标签对齐信息部分缺失的情况下，正确的预测比较困难；而且预测结果只利用了局部信息。CTC由于使用端到端训练，并不需要输入和输出对齐，输出整体序列的预测概率，因此可以克服这些问题。CTC通过引入一个特殊的空白字符（blank），解决变长映射的问题，其典型应用场景是文本识别。

**创作不易 觉得有帮助请点赞关注收藏~~~**

[14a01e70a1904d64a5ee36c1af7a9f04.png]: https://img-blog.csdnimg.cn/14a01e70a1904d64a5ee36c1af7a9f04.png
[d86b24934bef48cd87a3c02a264ec228.png]: https://img-blog.csdnimg.cn/d86b24934bef48cd87a3c02a264ec228.png
[c56f73049eb14cbd871ddb89260c347f.png]: https://img-blog.csdnimg.cn/c56f73049eb14cbd871ddb89260c347f.png