数据集的划分--训练集、验证集和测试集

前言

        在机器学习中，常常提到训练集和测试集，验证集似有似无。感受挺好奇的，就仔细查找了文献。如下谈谈训练集、验证集和测试集。

1.为何要划分数据集为训练集、验证集和测试集？

        作科研，就要提出问题，找到解决方法，并证实其有效性。这里的工做有3个部分，一个是提出问题，一个是找到解决方法，另外一个是证实有效性。每个部分均可以做为科研的对象，研究的越靠前，则越偏向科学，越靠后，则越偏向技术，所以叫作科学与技术。

        在人工智能领域，证实一个模型的有效性，就是对于某一问题，有一些数据，而咱们提出的模型能够（部分）解决这个问题，那如何来证实呢？这和咱们平时的考试也是同样的，证实咱们掌握了某类知识，就是去参加考试。

        好，那么如何设计考试，让这个考试能够较为客观的考察出每一个人的能力呢（注意，不是让每一个人都得最高分）？回想咱们的高中阶段，有一些教材，让咱们平时学习其基本知识（训练集），有一些模拟考试，让咱们知道咱们到底掌握的怎么样，而后再改进咱们的学习（验证集），最后的高考决定咱们的去向（测试集）。这样的类比，是否是就很清楚了。

2.训练集、验证集和测试集

1. 训练集：顾名思义指的是用于训练的样本集合,主要用来训练神经网络中的参数。

2. 验证集：从字面意思理解即为用于验证模型性能的样本集合.不一样神经网络在训练集上训练结束后,经过验证集来比较判断各个模型的性能.这里的不一样模型主要是指对应不一样超参数的神经网络,也能够指彻底不一样结构的神经网络。

3. 测试集：对于训练完成的神经网络,测试集用于客观的评价神经网络的性能。

3.如何划分训练集、验证集和测试集

        这个问题其实很是基础，也很是明确，在Scikit-learn里提供了各类各样的划分方法。不管是单一的训练集、验证集和测试集，仍是进行交叉验证，你都会找到调用的方法，所以咱们这里主要介绍两种常见的方法。

1. 前人给出训练集、验证集和测试集
   对于这种状况，那么只能跟随前人的数据划分进行，通常的比赛也是如此。必定不要使用测试集来调整性能（测试集已知的状况下），尽管存在使用这种方法来提高模型的性能的行为，可是咱们并不推荐这么作。最正常的作法应当是使用训练集来学习，并使用验证集来调整超参数。当在验证集上取得最优的模型时，此时就可使用此模型的超参数来从新训练（训练集+验证集），并用测试集评估最终的性能。
   咱们首先说明加入验证集从新训练和不加有啥区别，从理论上讲，一方面学习的样本增多，应当是会提高模型性能的，第二，其在验证集上取得最优的模型与验证集的分布的契合度是最高的，所以最终的模型会更接近验证集的分布。
   其次再说明验证集和测试集上的性能差别。事实上，在验证集上取得最优的模型，未必在测试集上取得最优。其缘由就是训练的模型是否对于该问题有着较好的泛化能力，即没有对验证集产生过拟合现象。正由于有这种状况的发生，才会有人使用测试集的最优值做为最终的结果（而无论验证集的好坏）。

2. 前人没有明确给出数据集的划分
   这时候能够采起第一种划分方法，对于样本数较小的数据集，一样能够采起交叉验证的方法。
   交叉验证的方法的使用场景有不少，咱们这里是针对不一样的模型的性能好坏进行评估。
   使用交叉验证，能够得到更为客观的性能差别。当使用第一种方法时，咱们更建议使用P值来作显著性检验，从而保证性能差别的客观性。而使用第二种方法，即交叉验证时，咱们选取其性能表现的均值做为最终的结果，更能体现该模型的泛化能力。

                                 1.存在验证集
                                这里五倍交叉验证是用于进行调参，此时不接触测试集。
                                数据集首先划分出训练集与测试集（能够是4:1或者9:1）。
                                其次，在训练集中，再划分出验证集（一般也是4:1或者9：1）
                                而后对于训练集和验证集进行5折交叉验证，选取出最优的超参数，而后把训练集和验证集一块儿训练出最终的模型。
                                2.不存在验证集
                                该状况一般是对比不一样的模型，如本身的模型和别人的模型的性能好坏。
                                只须要把数据集划分为训练集和测试集便可，而后选取5次试验的平均值做为最终的性能评价。

4.验证集和测试集的区别

        那么,训练集、校验集和测试集之间又有什么区别呢?通常而言,训练集与后二者之间较易分辨,校验集和测试集之间的概念较易混淆.我的是从下面的角度来理解的:

• 神经网络在网络结构肯定的状况下,有两部分影响模型最终的性能,一是普通参数(好比权重w和偏置b),另外一个是超参数(例如学习率,网络层数).普通参数咱们在训练集上进行训练,超参数咱们通常人工指定(比较不一样超参数的模型在校验集上的性能).那为何咱们不像普通参数同样在训练集上训练超参数呢?(花书给出了解答)一是：超参数通常难以优化(没法像普通参数同样经过梯度降低的方式进行优化).二是：超参数不少时候不适合在训练集上进行训练,例如,若是在训练集上训练能控制模型容量的超参数,这些超参数总会被训练成使得模型容量最大的参数(由于模型容量越大,训练偏差越小),因此训练集上训练超参数的结果就是模型绝对过拟合.

• 正由于超参数没法在训练集上进行训练,所以咱们单独设立了一个验证集,用于选择(人工训练)最优的超参数.由于验证集是用于选择超参数的,所以校验集和训练集是独立不重叠的.

• 测试集是用于在完成神经网络训练过程后,为了客观评价模型在其未见过(不曾影响普通参数和超参数选择)的数据上的性能,所以测试与验证集和训练集之间也是独立不重叠的,并且测试集不能提出对参数或者超参数的修改意见,只能做为评价网络性能的一个指标.

为了方便清楚直观的了解，上一个表格：

5.综述

        至此,咱们能够将神经网络完整的训练过程归结为一下两个步骤:

        1.训练普通参数.在训练集(给定超参数)上利用学习算法,训练普通参数,使得模型在训练集上的偏差下降到可接受的程度(通常接近人类的水平).

        2.'训练’超参数.在验证集上验证网络的generalization error(泛化能力),并根据模型性能对超参数进行调整.

        重复1和2两个步骤,直至网络在验证集上取得较低的generalization error.此时完整的训练过程结束.在完成参数和超参数的训练后,在测试集上测试网络的性能.

6.附言

说到底：

• 验证集是必定须要的；

• 若是验证集具备足够泛化表明性，是不须要再整出什么测试集的；

• 整个测试集每每就是为了在验证集只是非训练集一个小子集的状况下，好奇一下那个靠训练集（训练）和验证集（调参）屡次接力训练出来的模型是否是具备了泛化性能，于是加试一下图个肯定。