基于贝叶斯优化的超参数tuning

https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/

 

贝叶斯优化：使用高斯过程做为代理函数，而且一般优化提高幅度的指望Expected Improvement(新试验相对当前最好观测的提高的指望）。高斯过程是一组函数的分布。高斯过程当中的一个样本包括一组函数。训练高斯过程会拟合训练数据的分布，所以能产生和观测数据相近的函数。使用高斯过程，咱们能够计算搜索空间中任意点的指望提高。而后将指望提高最高的点应用于下一组实验。贝叶斯优化一般能给出非平凡的、不位于grid边界的连续超参数的估计（好比学习率，正则系数等），而且已经验证在某些benchmark上可以超过人类选出的参数。贝叶斯优化的一个有名的实现是Spearmint.