如何寻找超参数的最优值

问题引入

在使用机器学习算法时，总有一些难调的超参数。例如权重衰减大小，高斯核宽度等等。这些参数须要人为设置，设置的值对结果产生较大影响

问题解答

常见设置超参数的方法有：

1. 猜想和检查：根据经验或直觉，选择参数，一直迭代。

2. 网格搜索：让计算机尝试在必定范围内均匀分布的一组值。

3. 随机搜索：让计算机随机挑选一组值。

4. 贝叶斯优化：使用贝叶斯优化超参数，会遇到贝叶斯优化算法自己就须要不少的参数的困难。

5. MITIE方法，好初始猜想的前提下进行局部优化。它使用BOBYQA算法，并有一个精心选择的起始点。因为BOBYQA只寻找最近的局部最优解，因此这个方法是否成功很大程度上取决因而否有一个好的起点。在MITIE的状况下，咱们知道一个好的起点，但这不是一个广泛的解决方案，由于一般你不会知道好的起点在哪里。从好的方面来讲，这种方法很是适合寻找局部最优解。稍后我会再讨论这一点。

6. 最新提出的LIPO的全局优化方法。这个方法没有参数，并且经验证比随机搜索方法好。

参考

[1]https://blog.csdn.net/weixin_41819299/article/details/80945851

喜欢就关注一下啦~~~