在模型评估过程中，有哪些主要的验证方法，他们的优缺点是什么？在自助法的采样过程中，对Ｎ个样本进行Ｎ次自助采样，当Ｎ区域无穷大时最终有多少个数据从未被选择过？

Ｈｏｌｄｏｕｔ检验： Ｈｏｌｄｏｔ检验是最简单也是最直接的验证方法，它将原始的样本集合随机划分成训练集和验证集２部分。 比方说，对于一个点击率预测模型，我们把样本按照７０％－３０％的比例分成２部分，７０％的样本用于模型训练。３０％用于模型验证，包括绘制ＲＯＣ曲线，计算精确率和召回率等指标来评估模型性能。 ｈｏｌｄｏｕｔ检验的缺点很明显： 即在验证集上计算出来的最后评估指标和原始分组有很大的关系。为

>>阅读原文<<