利用nni实现nas(神经网络架构搜索)

迈不过友情╰ 2022-10-31 01:38 92阅读 0赞

> 当前深度学习的模型设计较为费事，有点玄学，不过，现在是可以进行向超参数一样，搜索出最优的模型架构，于是NAS就诞生了。
> 
> 自从有了nni以后，nas变得容易很多了，直接就可以进行搜索。
> 
> 不过，目前仅仅支持随机搜索和ppo（感谢大佬指正，这个说法着实不严谨，nni支持的nas算法非常多，源码里面的例子就能看出来，我是想表达的意思是classic\_nas里面只支持随机和ppo）。
> 
> nni[这篇文章][Link 1]讲过如何安装以及超参数搜索的使用。

nas下面的例子就演示随机搜索，ppo运行时间较长，这里就只展示随机搜索，ppo也亲测可行，和随机搜索一样，按照下面的过程就可以。

等安装nni好并且下载nni的GitHub源码以后就能进行使用了，使用过程如下：

（1）进入到nni源码的nas例子的路径下

cd /opt/nni/examples/nas/classic_nas

（2）在第一次进行搜索的时候，需要敲命令生成搜索空间文件，这里我将其命名为ss.json

因为，仔细看mnist.py文件就可看到，卷积的都是可以进行选择的，就是留给们进行随机选择组合，因此需要搜索 空间文件，不想超参数搜索，自己设置文件，这里需要命令去生成。

nnictl ss_gen --trial_command="python3 mnist.py" --trial_dir=./ --file=ss.json

我们可以看一下，生成后的结果：

[root@localhost classic_nas]# cat ss.json 
    {
      "first_conv": {
        "_type": "layer_choice",
        "_value": [
          "conv5x5",
          "conv3x3"
        ]
      },
      "mid_conv": {
        "_type": "layer_choice",
        "_value": [
          "0",
          "1"
        ]
      },
      "skip": {
        "_type": "input_choice",
        "_value": {
          "candidates": [
            "",
            ""
          ],
          "n_chosen": 1
        }
      }
    }

（3）编辑config\_random\_search.yml，设置searchSpacePath的具体路径：

vim config_random_search.yml

authorName: default
    experimentName: example_mnist
    trialConcurrency: 1
    maxExecDuration: 1h
    maxTrialNum: 10
    #choice: local, remote, pai
    trainingServicePlatform: local
    #please use `nnictl ss_gen` to generate search space file first
    searchSpacePath: ss.json
    useAnnotation: False
    tuner:
      codeDir: ../../tuners/random_nas_tuner
      classFileName: random_nas_tuner.py
      className: RandomNASTuner
    trial:
      command: python3 mnist.py
      codeDir: .
      gpuNum: 0

（4）运行nas

nnictl create --config config_random_search.yml

运行成功以后就可以，在网页上进行查看：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70][]

看一下最好的分数的具体的深度学习结构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70 1][]

可以看到，这里最高的得分的是第一个卷积层使用卷积核为5X5的。

运行一下ppo结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70 2][]

因为这个可枚举的空间不大，导致很早就直接就收敛了，数据结果看起来不如随机搜索，实际上找到网络结构是基本上一样的。

[Link 1]: https://blog.csdn.net/zhou_438/article/details/113872545
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70]: /images/20221024/9b0c5e0b2dad4ccb84875ecbeceacb58.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70 1]: /images/20221024/41a6908982e249b48516e58bf143f463.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70 2]: /images/20221024/d16a430bdce645a1ad6cd02ddb3cf875.png