机器学习中四种调参方法总结

青旅半醒 2022-08-28 04:48 329阅读 0赞

来源丨AI公园 编辑丨极市平台

![a62be9e33504ecc868aa473d42c04d49.png][]

## 介绍 ##

> 维基百科上说，“**Hyperparameter optimization**或**tuning**是为学习算法选择一组最优的**hyperparameters**的问题”。

ML工作流中最困难的部分之一是为模型找到最好的超参数。ML模型的性能与超参数直接相关。超参数调优的越好，得到的模型就越好。调优超参数可能是非常乏味和困难的，更像是一门艺术而不是科学。

## 超参数 ##

超参数是在建立模型时用于控制算法行为的参数。这些参数不能从常规训练过程中获得。在对模型进行训练之前，需要对它们进行赋值。

![1b6da7166588b305145266aafce9e73f.png][] 超参数的简单列表

## 内容 ##

1.  传统的手工调参
2.  网格搜索
3.  随机搜索
4.  贝叶斯搜索

### 传统手工搜索 ###

在传统的调参过程中，我们通过训练算法手动检查随机超参数集，并选择符合我们目标的最佳参数集。

我们看看代码：

#importing required libraries
    from sklearn.neighbors import KNeighborsClassifier
    from sklearn.model_selection import train_test_split
    from sklearn.model_selection import KFold , cross_val_score
    from sklearn.datasets import load_wine
    
    wine = load_wine()
    X = wine.data
    y = wine.target
    
    #splitting the data into train and test set
    X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.3,random_state = 14)
    
    #declaring parameters grid
    k_value = list(range(2,11))
    algorithm = ['auto','ball_tree','kd_tree','brute']
    scores = []
    best_comb = []
    kfold = KFold(n_splits=5)
    
    #hyperparameter tunning
    for algo in algorithm:
      for k in k_value:
        knn = KNeighborsClassifier(n_neighbors=k,algorithm=algo)
        results = cross_val_score(knn,X_train,y_train,cv = kfold)
    
        print(f'Score:{round(results.mean(),4)} with algo = {algo} , K = {k}')
        scores.append(results.mean())
        best_comb.append((k,algo))
    
    best_param = best_comb[scores.index(max(scores))]
    print(f'\nThe Best Score : {max(scores)}')
    print(f"['algorithm': {best_param[1]} ,'n_neighbors': {best_param[0]}]")

**缺点**：

1.  没办法确保得到最佳的参数组合。
2.  这是一个不断试错的过程，所以，非常的耗时。

### 2. 网格搜索 ###

网格搜索是一种基本的超参数调优技术。它类似于手动调优，为网格中指定的所有给定超参数值的每个排列构建模型，评估并选择最佳模型。考虑上面的例子，其中两个超参数 **k\_value =\[2,3,4,5,6,7,8,9,10\]** & **algorithm =\[ auto ， ball\_tree ， kd\_tree ，brute \]**，在这个例子中，它总共构建了9\*4 = 36不同的模型。

![7d86a9d11cd04ad56737dc22f4647315.png][]

让我们来了解一下sklearn的`GridSearchCV`是如何工作的：

from sklearn.model_selection import GridSearchCV
    
    knn = KNeighborsClassifier()
    grid_param = { 'n_neighbors' : list(range(2,11)) , 
                  'algorithm' : ['auto','ball_tree','kd_tree','brute'] }
                  
    grid = GridSearchCV(knn,grid_param,cv = 5)
    grid.fit(X_train,y_train)
    
    #best parameter combination
    grid.best_params_
    
    #Score achieved with best parameter combination
    grid.best_score_
    
    #all combinations of hyperparameters
    grid.cv_results_['params']
    
    #average scores of cross-validation
    grid.cv_results_['mean_test_score']

**缺点**：

由于它尝试了超参数的每一个组合，并根据交叉验证得分选择了最佳组合，这使得GridsearchCV非常慢。

### 3. 随机搜索 ###

使用随机搜索代替网格搜索的动机是，在许多情况下，所有的超参数可能不是同等重要的。随机搜索从超参数空间中随机选择参数组合，参数由n\_iter给定的固定迭代次数的情况下选择。实验证明，随机搜索的结果优于网格搜索。

![ff057650280a3bffab47ce3b296732bc.gif][]

让我们来了解sklearn的`RandomizedSearchCV`是如何工作的：

from sklearn.model_selection import RandomizedSearchCV
    
    knn = KNeighborsClassifier()
    
    grid_param = { 'n_neighbors' : list(range(2,11)) , 
                  'algorithm' : ['auto','ball_tree','kd_tree','brute'] }
    
    rand_ser = RandomizedSearchCV(knn,grid_param,n_iter=10)
    rand_ser.fit(X_train,y_train)
    
    #best parameter combination
    rand_ser.best_params_
    
    #score achieved with best parameter combination
    rand_ser.best_score_
    
    #all combinations of hyperparameters
    rand_ser.cv_results_['params']
    
    #average scores of cross-validation
    rand_ser.cv_results_['mean_test_score']

**缺点**：

随机搜索的问题是它不能保证给出最好的参数组合。

### 4. 贝叶斯搜索 ###

贝叶斯优化属于一类优化算法，称为基于序列模型的优化(SMBO)算法。这些算法使用先前对损失 **f** 的观察结果，以确定下一个(最优)点来抽样 **f**。该算法大致可以概括如下。

1.  使用先前评估的点 **X** 1：n，计算损失 **f** 的后验期望。
2.  在新的点 **X** 的抽样损失 **f**，从而最大化**f**的期望的某些方法。该方法指定 **f** 域的哪些区域最适于抽样。

重复这些步骤，直到满足某些收敛准则。

![432cb90ffe0cd6a666ecb1c9fda491b3.png][]

让我们用scikit- optimization的`BayesSearchCV`来理解。

> Installation: pip install scikit-optimize

from skopt import BayesSearchCV
    
    import warnings
    warnings.filterwarnings("ignore")
    
    # parameter ranges are specified by one of below
    from skopt.space import Real, Categorical, Integer
    
    knn = KNeighborsClassifier()
    #defining hyper-parameter grid
    grid_param = { 'n_neighbors' : list(range(2,11)) , 
                  'algorithm' : ['auto','ball_tree','kd_tree','brute'] }
    
    #initializing Bayesian Search
    Bayes = BayesSearchCV(knn , grid_param , n_iter=30 , random_state=14)
    Bayes.fit(X_train,y_train)
    
    #best parameter combination
    Bayes.best_params_
    
    #score achieved with best parameter combination
    Bayes.best_score_
    
    #all combinations of hyperparameters
    Bayes.cv_results_['params']
    
    #average scores of cross-validation
    Bayes.cv_results_['mean_test_score']

另一个实现贝叶斯搜索的类似库是`bayesian-optimization`。

> Installation: pip install bayesian-optimization

**缺点**：

要在2维或3维的搜索空间中得到一个好的代理曲面需要十几个样本，增加搜索空间的维数需要更多的样本。

## 总结 ##

在确定参数的最佳组合的保证和计算时间之间总是存在权衡。如果超参数空间(超参数个数)非常大，则使用随机搜索找到超参数的潜在组合，然后在该局部使用网格搜索(超参数的潜在组合)选择最优特征。

**猜您喜欢：**

[**等你着陆！【GAN生成对抗网络】知识星球！**][GAN]

[**CVPR 2021专题1：GAN的改进**][CVPR 2021_1_GAN]

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][_ _100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![015a3baa97dfae07f91d1701c55b41d8.png][]

[a62be9e33504ecc868aa473d42c04d49.png]: /images/20220828/d8779857ca3c4aaf94ab0b2d1a920a9d.png
[1b6da7166588b305145266aafce9e73f.png]: /images/20220828/ca8dcad1a33d4619a0f0790c83e2fe3b.png
[7d86a9d11cd04ad56737dc22f4647315.png]: /images/20220828/bdca1303e0ae472cb95d675946642493.png
[ff057650280a3bffab47ce3b296732bc.gif]: /images/20220828/2fbcca377ed54d348b4b313e7d5c7428.png
[432cb90ffe0cd6a666ecb1c9fda491b3.png]: /images/20220828/10f1cd0114be44e886d68221cc3d4a5d.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247493528&idx=1&sn=a6ad486ec02f36c97bc9a7c86f986765&chksm=fe2a4523c95dcc3526ebf62751f7a8f319082ed358f3a8c37e98188206f7d71daf2885028bf9&scene=21#wechat_redirect
[CVPR 2021_1_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247493902&idx=1&sn=14c01f114bd69bd6a94adf79296009c8&chksm=fe2a4bb5c95dc2a3c7ea2f02e430cd72ee4a200552cc74e323c0a3b6eac891c923e9b10d14ba&scene=21#wechat_redirect
[CVPR 2021 _ GAN_3D]: https://blog.csdn.net/Yong_Qi2015/article/details/116810851
[CVPR 2021 _ _ _GAN]: https://blog.csdn.net/moxibingdao/article/details/115410691
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247491634&idx=1&sn=427cb6bfd6868662f2b5ae1ac37f6072&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&scene=21#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490911&idx=1&sn=671926492c3b36e3350db4963f7fcb16&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&scene=21#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490656&idx=2&sn=bbe156fef077f23263b57e506ad43314&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&scene=21#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247490498&idx=1&sn=324cfbbde362a728aa5336f4b200f7a3&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&scene=21#wechat_redirect
[100_CVPR 2020_GAN]: https://blog.csdn.net/lgzlgz3102/article/details/107075585
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485709&idx=2&sn=55a51c98ab48f393ba305c082ba0e4fe&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&scene=21#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485091&idx=2&sn=f569d5d70c2e6c9cc567fbc5147787a4&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&scene=21#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485635&idx=2&sn=90608bce32fe353cf3c64b39e3406bc3&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&scene=21#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247484959&idx=2&sn=563999cc8d48498beed00270844ceec4&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247484929&idx=1&sn=523220858287ed3e6105919703c8e833&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&scene=21#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247485195&idx=2&sn=e3387067db29d1759755c6c2ea96c870&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&scene=21#wechat_redirect
[_ _100_CVPR 2020_GAN]: https://blog.csdn.net/lgzlgz3102/article/details/114860515
[Link 2]: https://blog.csdn.net/Yong_Qi2015/article/details/111714078
[015a3baa97dfae07f91d1701c55b41d8.png]: /images/20220828/3dc43947c8ce4cc79aff86053f5bc8ae.png