【pocketflow系列四】学习模块

刺骨的言语ヽ痛彻心扉 2022-02-03 14:19 347阅读 0赞

一、通道剪枝

官网地址：[https://pocketflow.github.io/cp\_learner/][https_pocketflow.github.io_cp_learner]

1、介绍

剪枝：是一种既能压缩模型大小，又能加速的方法。2017年提出的通道剪枝，通过剪掉一定比例的卷积层的通道。2018年提出的通道剪枝对2017年的算法进行了提升，通过强化学习的方式得到更优的压缩比例。另外，开发者可以使用蒸馏以及group tuning提高压缩后的模型精度。Group tuning组调整的意思是，设定一组层，然后依次对每个组进行剪枝和fine-tuning微调。比如，我们将3个层作为一组。则我们先对3个层进行剪枝，然后我们微调整个网络。再依次进行下一组3个层的剪枝，再微调整个网络。蒸馏和group tuning被实验证明，在大部分场景下，能够提高经过一定压缩的模型精度。

2、可选的剪枝方法

代码路径：./learners/channel\_pruning

剪枝：\--learners to channel

剪枝有3种类型可以设置：cp\_prune\_option

（1）uniform通道剪枝

类型设置：--cp\_prune\_option=uniform

比例设置：--cp\_uniform\_preserve\_ratio=0.5

（2）list通道剪枝

通过list的方式设定每个层的剪枝比例

类型设置：--cp\_prune\_option=list

参数设置：ratio.list

比如：

./ratio.list

1.0, 0.1875, 0.1875, 0.1875, 0.1875, 0.1875, 0.1875, 0.1875, 1.0, 0.25, 1.0, 0.25, 0.21875, 0.21875, 0.21875, 1.0, 0.5625, 1.0, 0.546875, 0.546875, 0.546875, 1

（3）自动通道剪枝

类型设置：\--cp\_prune\_option=auto

3、通道剪枝参数

通道剪枝分两步：Lasso算法进行通道选择；线性回归进行特征map。

这两步种，可以通过特征map的采样来减少计算量。设置参数：\--cp\_nb\_points\_per\_layer 。

对于一些有很多黑色区域的数据集，可以设置batch：cp\_nb\_batches。

还有一个针对移动端的设置：--cp\_quadruple。

4、蒸馏

蒸馏是一种在大多数场景中都能提高压缩模型精度的方法。

设置参数：--enbl\_dst=True

5、group tuning

能够很好的提升压缩模型的性能。

使能：--cp\_finetune=True

group：-cp\_list\_group

迭代次数：cp\_nb\_iters\_ft\_ratio

学习率：cp\_lrn\_rate\_ft

二、通道剪枝2017

三、通道剪枝2018

四、权重稀疏

五、uniform权重量化

官方地址：[https://pocketflow.github.io/uq\_learner/\#uniform-quantization][https_pocketflow.github.io_uq_learner_uniform-quantization]

1、介绍

均匀量化被广泛应用在模型压缩和加速。原始模型权重都是32bit浮点数。通过均匀量化，4bit/8bit被用来作为权重。对于kbit量化，节省的空间为：32/k。比如，对于8bit量化，模型大小可以压缩4倍。

目前有两种均匀量化可以选择：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70][]

六、non-uniform权重量化

七、蒸馏

官网地址：[https://pocketflow.github.io/distillation/][https_pocketflow.github.io_distillation]

八、多GPU训练

官网地址：[https://pocketflow.github.io/multi\_gpu\_training/][https_pocketflow.github.io_multi_gpu_training]

[https_pocketflow.github.io_cp_learner]: https://pocketflow.github.io/cp_learner/
[https_pocketflow.github.io_uq_learner_uniform-quantization]: https://pocketflow.github.io/uq_learner/#uniform-quantization
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70]: /images/20220203/c69a6ebdbf5c45f3aedd1c05a673cce7.png
[https_pocketflow.github.io_distillation]: https://pocketflow.github.io/distillation/
[https_pocketflow.github.io_multi_gpu_training]: https://pocketflow.github.io/multi_gpu_training/