交叉验证(Cross Validation)原理小结

交叉验证是在机器学习创建模型和验证模型参数时经常使用的办法。交叉验证，顾名思义，就是重复的使用数据，把获得的样本数据进行切分，组合为不一样的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上能够获得多组不一样的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本，即所谓“交叉”。　

　　　　那么何时才须要交叉验证呢？交叉验证用在数据不是很充足的时候。好比在我平常项目里面，对于普通适中问题，若是数据样本量小于一万条，咱们就会采用交叉验证来训练优化选择模型。若是样本大于一万条的话，咱们通常随机的把数据分红三份，一份为训练集（Training Set），一份为验证集（Validation Set），最后一份为测试集（Test Set）。用训练集来训练模型，用验证集来评估模型预测的好坏和选择模型及其对应的参数。把最终获得的模型再用于测试集，最终决定使用哪一个模型以及对应参数。

　　　　回到交叉验证，根据切分的方法不一样，交叉验证分为下面三种：　　　

　　　　第一种是简单交叉验证，所谓的简单，是和其余交叉验证方法相对而言的。首先，咱们随机的将样本数据分为两部分（好比： 70%的训练集，30%的测试集），而后用训练集来训练模型，在测试集上验证模型及参数。接着，咱们再把样本打乱，从新选择训练集和测试集，继续训练数据和检验模型。最后咱们选择损失函数评估最优的模型和参数。　

 　　　　第二种是S折交叉验证（S-Folder Cross Validation）。和第一种方法不一样，S折交叉验证会把样本数据随机的分红S份，每次随机的选择S-1份做为训练集，剩下的1份作测试集。当这一轮完成后，从新随机选择S-1份来训练数据。若干轮（小于S）以后，选择损失函数评估最优的模型和参数。

　　　　第三种是留一交叉验证（Leave-one-out Cross Validation），它是第二种状况的特例，此时S等于样本数N，这样对于N个样本，每次选择N-1个样原本训练数据，留一个样原本验证模型预测的好坏。此方法主要用于样本量很是少的状况，好比对于普通适中问题，N小于50时，我通常采用留一交叉验证。

　　　　经过反复的交叉验证，用损失函数来度量获得的模型的好坏，最终咱们能够获得一个较好的模型。那这三种状况，到底咱们应该选择哪种方法呢？一句话总结，若是咱们只是对数据作一个初步的模型创建，不是要作深刻分析的话，简单交叉验证就能够了。不然就用S折交叉验证。在样本量少的时候，使用S折交叉验证的特例留一交叉验证。

　　　　此外还有一种比较特殊的交叉验证方式，也是用于样本量少的时候。叫作自助法(bootstrapping)。好比咱们有m个样本（m较小），每次在这m个样本中随机采集一个样本，放入训练集，采样完后把样本放回。这样重复采集m次，咱们获得m个样本组成的训练集。固然，这m个样本中颇有可能有重复的样本数据。同时，用没有被采样到的样本作测试集。这样接着进行交叉验证。因为咱们的训练集有重复数据，这会改变数据的分布，于是训练结果会有估计误差，所以，此种方法不是很经常使用，除非数据量真的不多，好比小于20个。

 

（欢迎转载，转载请注明出处。欢迎沟通交流： 微信：nickchen121）