论文笔记系列-Multi-Fidelity Automatic Hyper-Parameter Tuning via Transfer Series Expansion

论文: Multi-Fidelity Automatic Hyper-Parameter Tuning via Transfer Series Expansion

咱们都知道实现AutoML的基本思路是不断选取不一样的超参数组成一个网络结构，而后使用这个网络结构在整个数据集上进行评估 (假设评估值为$f_H(X)=\mathcal{L}(δ,D^{train},D^{valid})$,X表示某一组超参数) ，最后选择出评估性能最好的网络参数。

可是基于full dataset进行评估cost太大，因此很天然地想到基于一部分数据集进行评估，假设此时的评估结果是$f_L(X)=\mathcal{L}(δ,D^{sub}{r_L},D^{valid})$,其中$D^{sub}{rL}$表示从训练集中以$r_L$的比例抽取数据。可是这样又存在另一个问题，那就是基于一部分数据集进行评估获得的结果每每是不许确的，那怎么办呢？下面进行一波分析：

令$R(X)=f_H(X)-f_L(X)$,用来衡量$f_H$与$f_L$之间的残差(residual)。因此若是咱们可以获得$R(X)$，那么咱们就可以用$R(X)+f_L(X)$来代替须要花费大量算力的$f_H(X)$,那么怎么获得$R(X)$呢？

本文为了求得$R(X)$提出了Transfer Series Expansion (TSE),该方法就是经过学习一系列的基预测器，并将他们线性组合获得了最终的预测器，预测结果即为$R(X)$。公式以下: $$\Psi(x)=\sum_{i=1}^kw_i\psi_i(x)+b \tag{1}$$

由公式(1)能够知道咱们须要构造出$k$个基预测器，换句话说咱们须要k个不一样的数据集，数据集能够表示为$D^{predictor}={(x_1,y_1),...,(x_m,y_m)}$,其中$y_i=R(x_i)$。很显然为了获得$y_i$仍是得花费很多代价。因此做者提出了一个折中的办法就是令$y_i=R(x_i)=f_M(x_i)-f_L(x_i)$,其中$f_M$表示介于$f_L$和$f_H$之间的评估，也就是说以$r_M(0<r_L<r_M<<1)$的比例从训练集中抽取出数据进行模型的评估。(文中并无详细介绍如何构造基预测器，只是说使用Random Forest Regressor，因此这里再也不对基预测器如何构造进行说明。)。

因此用来构建k个基预测器的数据集对即为${(D^{sub1}{r_L},D^{sub1}{r_M}),...,(D^{subk}{r_L},D^{subk}{r_M})}$，注意$(D^{sub1}{r_L},D^{sub1}{r_M})$转变成一组用于生成基预测器的数据集$D^{predictor}$。除此之外其实还须要构造${(D^{sub}{r_L},D^{train})}$用于最后的回归问题。因此实际上随机初始化$k$个$D^{sub}{r_M}$和$k+1$个$D^{sub}_{r_L}$。

好了如今假设基预测器都构建好了，那么就能够进入正式的TSE算法步骤了，算法以下：

未完待续...

<b style="color:tomato;"></b>

<footer style="color:white;;background-color:rgb(24,24,24);padding:10px;border-radius:10px;"><br> <h3 style="text-align:center;color:tomato;font-size:16px;" id="autoid-2-0-0"><br> <b>MARSGGBO</b><b style="color:white;"><span style="font-size:25px;">♥</span>原创</b><br> <br><br> <br><br> <b style="color:white;"><br> 2018-8-5<p></p> </b><p><b style="color:white;"></b><br> </p></h3><br> </footer>