模型调参-网格搜索

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wendaomudong_l2d4/article/details/81067584

  调参中的参数是指模型本身的超参数，而不是求解目标函数可以得到的参数解析解。常用的方法是网格搜索，所谓的网格搜索可以理解成穷举法。而现实中，我们往往不能穷举所有的参数的组合。因此需要对部分参数，在一定范围内调参。具体的调参逻辑依赖于参数在不同算法中的数学含义。本文简单介绍网格搜索的逻辑，实际的应用需要结合算法和业务场景。

1.网格搜索

  网格搜索是传统并且常用的超参数优化方法，一般使用交叉验证，选取指定的衡量指标(例如auc)进行参数选择。由于超参数空间可能很大且是连续型变量，因此常常在某个范围内，离散化超参数。
  举个例子，在SVM中，RBF核函数至少需要调整两个参数:
1. 正则化参数C
2. 核函数超参数$\gamma$
这两个参数都是连续性变量，在网格搜索前，指定范围，离散化。

$$\begin{array}{l} C \in \left\{ {10,100,1000} \right\}\\ \gamma \in \left\{ {0.1,0.2,0.5,1.0} \right\} \end{array}$$
使用网格搜索时，自动组合 $pair(C,\gamma)$，那么上面共计 3*4=12个参数组合，根据其在交叉验证中的表现选择性能最好的一个参数组合。

2. 总结

  网格搜索在实际应用中需要对算法的理论比较理解，参数较多时，可能有几个参数是互相影响的，这个时候需要共同调参。具体到某个算法的调参在看细节。
  至于应用，sklearn中有GridSearchCV可以使用。

3.Ref

[1] 维基百科
                      2018-07-16 于南京市建邺区新城科技园