综述 | 持续学习，如何解决分类问题中灾难性遗忘

忘是亡心i 2023-01-21 02:19 55阅读 0赞

仅分享，侵删  转载 ：专知

![d0debadddb71f2eabcd8ed1d7b66bc3a.png][]

人工神经网络在解决特定刚性任务的分类问题时，通过不同训练阶段的广义学习行为获取知识。由此产生的网络类似于一个静态的知识实体，努力扩展这种知识而不针对最初的任务，从而导致灾难性的遗忘。

持续学习将这种范式转变为可以在不同任务上持续积累知识的网络，而不需要从头开始再训练。我们关注任务增量分类，即任务按顺序到达，并由清晰的边界划分。我们的主要贡献包括:

**(1) 对持续学习技术的分类和广泛的概述;**

**(2) 一个持续学习器稳定性-可塑性权衡的新框架;**

**(3) 对11种最先进的持续学习方法和4条基准进行综合实验比较。**

考虑到微型Imagenet和大规模不平衡的非自然主义者以及一系列识别数据集，我们以经验的方式在三个基准上仔细检查方法的优缺点。我们研究了模型容量、权重衰减和衰减正则化的影响，以及任务呈现的顺序，并从所需内存、计算时间和存储空间等方面定性比较了各种方法。

**引言**

近年来，据报道，机器学习模型在个人任务上表现出甚至超过人类水平的表现，如雅达利游戏\[1\]或物体识别\[2\]。虽然这些结果令人印象深刻，但它们是在静态模型无法适应其行为的情况下获得的。因此，这需要在每次有新数据可用时重新启动训练过程。在我们的动态世界中，这种做法对于数据流来说很快就变得难以处理，或者可能由于存储限制或隐私问题而只能暂时可用。这就需要不断适应和不断学习的系统。人类的认知就是这样一个系统的例证，它具有顺序学习概念的倾向。通过观察例子来重新审视旧的概念可能会发生，但对保存这些知识来说并不是必要的，而且尽管人类可能会逐渐忘记旧的信息，但完全丢失以前的知识很少被证明是\[3\]。相比之下，人工神经网络则不能以这种方式学习:在学习新概念时，它们会遭遇对旧概念的灾难性遗忘。为了规避这一问题，人工神经网络的研究主要集中在静态任务上，通常通过重组数据来确保i.i.d.条件，并通过在多个时期重新访问训练数据来大幅提高性能。

持续学习研究从无穷无尽的数据流中学习的问题，其目标是逐步扩展已获得的知识，并将其用于未来\[4\]的学习。数据可以来自于变化的输入域(例如，不同的成像条件)，也可以与不同的任务相关联(例如，细粒度的分类问题)。持续学习也被称为终身学习\[18\]0，\[18\]1，\[18\]2，\[18\]3，\[18\]5，\[18\]4，顺序学习\[10\]，\[11\]，\[12\]或增量学习\[13\]，\[14\]，\[15\]，\[16\]，\[17\]，\[18\]，\[19\]。主要的标准是学习过程的顺序性质，只有一小部分输入数据来自一个或几个任务，一次可用。主要的挑战是在不发生灾难性遗忘的情况下进行学习:当添加新的任务或域时，之前学习的任务或域的性能不会随着时间的推移而显著下降。这是神经网络中一个更普遍的问题\[20\]的直接结果，即稳定性-可塑性困境，可塑性指的是整合新知识的能力，以及在编码时保持原有知识的稳定性。这是一个具有挑战性的问题，不断学习的进展使得现实世界的应用开始出现\[21\]、\[22\]、\[23\]。

为了集中注意力，我们用两种方式限制了我们的研究范围。首先，我们只考虑任务增量设置，其中数据按顺序分批到达，一个批对应一个任务，例如要学习的一组新类别。换句话说，我们假设对于一个给定的任务，所有的数据都可以同时用于离线训练。这使得对所有训练数据进行多个时期的学习成为可能，反复洗刷以确保i.i.d.的条件。重要的是，无法访问以前或将来任务的数据。在此设置中优化新任务将导致灾难性的遗忘，旧任务的性能将显著下降，除非采取特殊措施。这些措施在不同情况下的有效性，正是本文所要探讨的。此外，任务增量学习将范围限制为一个多头配置，每个任务都有一个独占的输出层或头。这与所有任务共享一个头的更有挑战性的类增量设置相反。这在学习中引入了额外的干扰，增加了可供选择的输出节点的数量。相反，我们假设已知一个给定的样本属于哪个任务。

其次，我们只关注分类问题，因为分类可以说是人工神经网络最既定的任务之一，使用相对简单、标准和易于理解的网络体系结构具有良好的性能。第2节对设置进行了更详细的描述，第7节讨论了处理更一般设置的开放问题。

![e1cab515cec657d135a33ffd38deae04.png][]

\---------♥---------

**猜您喜欢：**

![d0ba894fd84e11ef9b5a3e3fe1867cc6.png][]

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![2cee6eecbfb6c48e880b1e9ef7e597ce.png][]

[d0debadddb71f2eabcd8ed1d7b66bc3a.png]: /images/20221021/1733746938164f0abaf48e7da05ab01e.png
[e1cab515cec657d135a33ffd38deae04.png]: /images/20221021/2c9483fd6cb44dcc9cf75e7f3eb474f6.png
[d0ba894fd84e11ef9b5a3e3fe1867cc6.png]: /images/20221021/a9d13a32959f4b70967146c65d580f63.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[2cee6eecbfb6c48e880b1e9ef7e597ce.png]: /images/20221021/9cf6147a4d62472abdcb4335e8c61bcf.png