基于模型结构增扩的增量学习方法归纳和详解

古城微笑少年丶 2023-01-20 08:11 70阅读 0赞

基于模型结构增扩的方法，本文对近两年基于模型结构扩张的增量学习方法进行归纳总结和详解。

文章链接如下：

[RKR论文详解 Rectification-based Knowledge Retention for Continual Learning. CVPR 2021 基于知识矫正的持续学习\_祥瑞的技术博客-CSDN博客][RKR_ Rectification-based Knowledge Retention for Continual Learning. CVPR 2021 _-CSDN]

[DER论文详解DER: Dynamically Expandable Representation for Class Incremental Learning， CVPR 2021\_祥瑞的技术博客-CSDN博客][DER_DER_ Dynamically Expandable Representation for Class Incremental Learning_ CVPR 2021_-CSDN]

**目录**

1. RKR, Rectification-based Knowledge Retention

1.1 概览与贡献点

1.2 权重矫正

1.3 RG和SFG网络的具体实现

1.4 实验

2.  DER，Dynamically Expandable Representation

2.1 概览与贡献点

2.2 特征提取与分类器

2.3 模型结构与loss设计

2.4 实验

--------------------

# 1. RKR, Rectification-based Knowledge Retention #

## 1.1 概览与贡献点 ##

本文发表于CVPR2021，将新的类别的信息存储在额外的网络结构之中，文中称为rectification generator (RG)生成器和scaling factor generator (SFG)生成器。从而解决Few-shot和zero-shot增量学习的问题。

本文贡献点如下：

网络针对每个任务只需要学习额外的两个参数weight rectifications and scaling factors，这两个参数分别由rectification generator (RG)生成器和scaling factor generator (SFG)生成器生成。

因为rectification generator (RG)生成器和scaling factor generator (SFG)生成器的存在，网络结构的新增相比其他方法少了很多，相对节省了网络资源。

与现有的任务相比达到了State-of-the-art (甚至与一些基于特征回放的增量学习方法也达到了State-of-the-art)

## 1.2 权重矫正 ##

本文的核心只有两个，rectification generator (RG)生成器和scaling factor generator (SFG)生成器。

rectification generator (RG)生成器用于针对具体的增量任务，针对权重生成相应的矫正权重R，对权重weight进行矫正（element-wise的相加）。

scaling factor generator (SFG)生成器针对具体的增量任务，针对feature-map生成feature-map的缩放F，用于对feature-map进行缩放（element-wise的相乘）

这也是题目rectification（矫正）的含义所在。即网络在保持原有权重的基础之上，通过矫正矩阵的矫正来适应新的增量任务。

假定网络第*l*![20210511222829236.png][]层具有权重*Θl*![20210511222829268.png][]，在增量任务中，学到了新的权重*Θ**l\**，那么这两个权重之间就存在误差，因为增量任务学到的*Θ**l\**![20210511222829338.png][]与旧权重*Θl*![20210511222829268.png][]并不匹配，这也就是增量学习中灾难性遗忘的来源。

针对增量任务*t*![20210511222829342.png][]，本文希望通过*R**lt*![20210511222829303.png][]对原始权重进行矫正，从而在保持原有网络权重*Θl*![20210511222829268.png][]的基础上，针对具体的增量任务t生成*R**lt*![20210511222829265.png][]来保持增量的知识。公式如下：

![20210511222829338.png][]

即base权重*Θl*![20210511222829341.png][]加上针对*t*任务的矫正矩阵*R**lt*![20210511222829267.png][]，生成了针对*t*![20210511222829344.png][]任务的矩阵*Θ**lt*![20210511222829235.png][]。

*  *t*表示具体的增量任务
 *  小写字母*l*表示第*l*层
 *  圆圈加号表示element-wise的相加。
 *  生成矫正矩阵*R**lt*的任务就是rectification generator (RG)生成器来完成。

同理，对于featuremap而言，公式如下：

![20210511222829340.png][]

即第*l*![20210511222829338.png][]层的输出featuremap *O**lt*![20210511222829333.png][],由缩放矩阵*F**lt*进行缩放，从而试应增量任务*t*![20210511222829339.png][]

*  t表示具体的增量任务
 *  小写字母l表示第l层
 *  圆圈乘号表示element-wise的相乘
 *  生成缩放矩阵*F**lt*![20210511222829328.png][]的任务就是scaling factor generator (SFG)生成器来完成。

模型结构表示如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

卷积层如上图所示，很容易理解，RG网络生成*R**lt*![20210511222829333.png][]，用于对权重进行相加矫正，SFG网络生成*F**lt*![20210511222829339.png][]，用于对featuremap进行相乘矫正。

全连接层与卷积层类似：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

Fc层仅仅是权重和featuremap的尺寸与conv层不同。

## 1.3 RG和SFG网络的具体实现 ##

假定网络第*l*![20210511222829271.png][]层的权重*Θl*具有尺寸*W\*H\***C**i**\***Co* (宽\*高\*输入通道\*输出通道)，则对应的变换矩阵*R**lt*![20210511222829345.png][]也应该与其具有相同的尺寸。因此RG网络的任务就是生成一个*W\*H\***C**i**\***Co*![20210511222829342.png][] (宽\*高\*输入通道\*输出通道)尺寸的变换矩阵*R**lt*

作者为了网络容量，rectification generator (RG) 需要学习比变换矩阵R更小尺寸的东西，因此作者将R变换为了两个矩阵相乘，这两个矩阵分别是*K\*H\***Co*和*K\*W\***Ci*![20210511222829342.png][]维度，这两个矩阵进行矩阵乘，就能得到尺寸为*W\*H\***C**i**\***Co*![20210511222829330.png][]的矫正矩阵*R**lt*![20210511222829306.png][]。其中*K≪**Co*![20210511222829331.png][]且*K≪**Ci*![20210511222829322.png][],这就保证了RG网络存储这两个张量花费很少的开销。

![20210511223252862.png][]

即变换矩阵R通过两个更小的矩阵相乘得来，RG网络只需要针对增量任务t学会这两个尺寸更小的矩阵即可。

*  Scaling factor generator (SFG)生成器的作用与RG生成器类似。
 *  RG是针对权重，SFG是针对feature-map,
 *  RG是与权重相加，SFG是与feature-map相乘
 *  SFG依然通过两个更小的张量相乘获得缩放矩阵*F**lt*![20210511222829271.png][]

新增内存占用如下：那么每一个增量任务需要多存RG网络和SFG网络的网络容量。每层增加的网络权重百分比如下：

分母即新增的网络权重，分子为原来网络的的权重。

## 1.4 实验 ##

本文在CIFAR-100和ImageNet-1k的多次增量任务上均取得比较好的效果。可以看出本文与其他方法对比是最优的，抵抗遗忘能力较强。本文方法甚至优于基于样本回放的iCaRL方法。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3][]

# 2.  DER，Dynamically Expandable Representation #

## 2.1 概览与贡献点 ##

本文上海科技大学和中国科学院大学共同发表，发表在CVPR2021。本文是通过增加模型权值来适应增量任务。也运用了Memory，相当于基于样本回放的方法和基于模型的方法的结合。本文主要的改进在于模型层面。

本文提出了一个双阶段的训练方法，特征提取阶段和分类器阶段。在模型稳定性和灵活性之间需要进行平衡，提出了DER（dynamically expandable representation），针对增量任务对特征通道数进行增扩。本文贡献点如下：

在每个增量任务时候，都将上一个阶段提取出的特征进行固定，并且运用新的特征提取器再对新任务特征进行新特征提取。这就使得模型在保持旧任务知识的同时可以获得适用于新增量任务的新知识。

用了基于通道的特征裁剪（Channel-Level Mask-Based Pruning Strategy）减少存储占用。

通过设计辅助loss使得网络获取更加具有判别性的特征。

性能与同类型方法相比达到SOTA，见下图。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4][]

通过此图可以看出，本文重要的是在模型权重数量和模型准确率之间寻找一个平衡。即相同参数量的情况下，平均准确率越高越好。

## 2.2 特征提取与分类器 ##

假定对于任务*t*![20210511222829305.png][]的数据集*\{* *D**t\}*![20210511222829270.png][], 样本*\{* *x**i**t**,* *y**i**t\}*, *x**it*![20210511222829237.png][]是输入图片，*y**i**t**∈**Yt*标签，*Yt*![20210511222829334.png][]是标签的集合。本文模型分为两个阶段，一个是特征提取阶段，另一个是分类器阶段。特征提取阶段用于通过增量学习得到针对任务*t*![20210511222829341.png][]特征提取模型为Φ*t()*![20210511222829334.png][]，特征分类阶段设置辅助loss用于使得特征提取模块获得更加分散和具有判别性的特征，特征分类阶段的模型是*H**t()*

特征提取阶段表示为：

![20210511222829341.png][]

公式含义：新任务的特征提取网络Φ*t()*相当于旧任务的特征提取网络Φ*t-1()*和新训练的特征提取网络*F**t()*合并，

*  输入样本为*x*，提取出的特征为*u*
 *  Φ*t()*表示针对增量任务*t*的特征提取网络
 *  Φ*t-1()*表示增量任务*t*到来之前的特征提取网络
 *  增量任务*t*到来之后，新学习的特征提取网络*F**t(x)*与上一个特征提取网络Φ*t-1(x)*共同提取的特征作为Φ*t(x)*

分类器阶段的公式为：

![20210511222829266.png][]

公式很容易理解，将上阶段提取出的特征输出作为分类器的输入

## 2.3 模型结构与loss设计 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5][]

每新来一个增量任务*t*![20210511222829336.png][]，就新训练一个特征提取网络*Ft*![20210511222829269.png][]和分类器*H**ta*![20210511222829271.png][]，然后并入上一个特征提取网络中作为新的特征提取网络。其中，Mask Parameter即前文提及的Channel-Level Mask-Based Pruning Strategy，对特征进行采样，从而降低特征维度，减少存储和运算负担。

![20210511222829319.png][]

训练loss即交叉熵，用于对整个分类器进行训练（这里的分类器*Ht*![20210511222829327.png][]相当于原始分类器*Ht*![20210511222829235.png][]和新增分类器*H**ta*![20210511222829317.png][]的合并），其中*D*![20210511222829318.png][]是训练样本与memory中样本的并集。

![20210511222829238.png][]

除此自外，作者引入了*L**H**ta*![20210511222829343.png][]辅助loss，只对分类器的新增部分*H**ta*![20210511222829341.png][]进行训练，

![20210511222829243.png][]

## 2.4 实验 ##

消融实验结果如下：E.R.代表模型结构增扩，即本文的DER方法，Aux表示辅助loss，即对新增分类器的训练。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 6][]

作者在cifar100上进行实验如下，Ours(w/o)表示没有pruning(即前文提及的基于通道的特征裁剪)，channel-wise mask相当于对channel加一个mask，从而减少feature的尺寸，降低存储和运算消耗。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 7][]

本文方法基于模型增扩，同时使用了基于样本的特征回放，因此不难取得较好的效果。

[RKR_ Rectification-based Knowledge Retention for Continual Learning. CVPR 2021 _-CSDN]: https://blog.csdn.net/weixin_36474809/article/details/115741806
[DER_DER_ Dynamically Expandable Representation for Class Incremental Learning_ CVPR 2021_-CSDN]: https://blog.csdn.net/weixin_36474809/article/details/116176371
[20210511222829236.png]: https://img-blog.csdnimg.cn/20210511222829236.png
[20210511222829268.png]: /images/20221021/e0e5bfe97633467fac7740fbddf5d2be.png
[20210511222829338.png]: /images/20221021/06101908ac1643f587c62a6424a21d18.png
[20210511222829342.png]: /images/20221021/d55b946c3d324b7c85476d877ee68149.png
[20210511222829303.png]: https://img-blog.csdnimg.cn/20210511222829303.png
[20210511222829265.png]: /images/20221021/8d56b93f227b4c7bbb3a158ebba42fca.png
[20210511222829341.png]: /images/20221021/9664359d103744b390b681d8d9bab476.png
[20210511222829267.png]: https://img-blog.csdnimg.cn/20210511222829267.png
[20210511222829344.png]: https://img-blog.csdnimg.cn/20210511222829344.png
[20210511222829235.png]: /images/20221021/e47f78ea28464496aaeb62befa0f337e.png
[20210511222829340.png]: /images/20221021/c54e3b0c3c1b4b45a437673ecdda4d2e.png
[20210511222829333.png]: https://img-blog.csdnimg.cn/20210511222829333.png
[20210511222829339.png]: /images/20221021/b0c74d2ebd344c56b26e92200898ac29.png
[20210511222829328.png]: /images/20221021/d30472fb1b1a4fedb771bdf04dceebf5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20221021/b00b7992849047d5ba5b3ff2949a8e60.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20221021/65e94fdc0ec54b50a431729abaca74b5.png
[20210511222829271.png]: /images/20221021/9825b1e365b04839b2162424b5162864.png
[20210511222829345.png]: https://img-blog.csdnimg.cn/20210511222829345.png
[20210511222829330.png]: https://img-blog.csdnimg.cn/20210511222829330.png
[20210511222829306.png]: https://img-blog.csdnimg.cn/20210511222829306.png
[20210511222829331.png]: https://img-blog.csdnimg.cn/20210511222829331.png
[20210511222829322.png]: /images/20221021/9e4bf84e335549bfa8a905527371df32.png
[20210511223252862.png]: /images/20221021/0e4a0d1552cd4764b2b6b9598db0bf25.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2]: /images/20221021/0d0c641386c545f09c3718563bd7902f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3]: /images/20221021/010d79d038694b90a2ca32aa2184ad6c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4]: /images/20221021/841267d94d7a4cccb349e7b37f47d327.png
[20210511222829305.png]: https://img-blog.csdnimg.cn/20210511222829305.png
[20210511222829270.png]: https://img-blog.csdnimg.cn/20210511222829270.png
[20210511222829237.png]: https://img-blog.csdnimg.cn/20210511222829237.png
[20210511222829334.png]: /images/20221021/8d8f51264be2493aba17340f03325c96.png
[20210511222829266.png]: /images/20221021/7bb85dd4b4984de48d0e3a91fec9bf88.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5]: /images/20221021/2db73093e4d84a9089c8eb1affcfe17f.png
[20210511222829336.png]: https://img-blog.csdnimg.cn/20210511222829336.png
[20210511222829269.png]: https://img-blog.csdnimg.cn/20210511222829269.png
[20210511222829319.png]: /images/20221021/1f2b28a1ce324bf9b07179328315e119.png
[20210511222829327.png]: https://img-blog.csdnimg.cn/20210511222829327.png
[20210511222829317.png]: https://img-blog.csdnimg.cn/20210511222829317.png
[20210511222829318.png]: /images/20221021/f28fdfcfecb246dbbf106aa9019c07c9.png
[20210511222829238.png]: /images/20221021/3e41b3c2b5ac4da09d8a37f1231c0dc7.png
[20210511222829343.png]: https://img-blog.csdnimg.cn/20210511222829343.png
[20210511222829243.png]: /images/20221021/6be144de4a0444b8996eabfee10e2a94.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 6]: /images/20221021/8e0386b4dafe4a11bc66bc6f9075f03b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 7]: /images/20221021/f1cda8b13ce246bd8a31d80abe10c930.png