机器学习面试基础知识 & 扩展-01

时间 2019-11-30

标签机器学习面试基础知识扩展栏目快乐工作繁體版

原文原文链接

视频教程的总结和一些自行补充的内容，旨在尽量的理解其原理。html

本文持续更新地址：我的博客机器学习面试基础知识 & 扩展-01面试

训练/开发/测试集

Tips

训练/开发/测试集经验比例 6：3：1
当数据量超过百万时，测试集只需约1w（也就是不须要严格按照比例增加）
严格保证分层取样

误差（Bias）/ 方差（Variance）

在忽略噪声的状况下，泛化偏差可分解为误差、方差两部分。算法

误差：度量学习算法的指望预测与真实结果的偏离程度，也叫拟合能力。
方差：度量了一样大小的训练集的变更所致使的学习性能的变化，即刻画了数据扰动形成的影响。

---摘自《机器学习》，周志华网络

参考：Understanding the Bias-Variance Tradeoff机器学习

分类器函数

Train set error	1%	15%	15%	0.5%
Dev set error	10%	16%	30%	1%
status	high variance	high bias	high bias & high variance	low bias & low variance

误差：模型的预测偏差率（训练集中的准确率越大，误差越大）
方差：模型的泛化能力（开发集中的表现和训练集的差距大小，差距越大，表明方差越大）

high Bias 意味着模型的分类效果很差，high Variance 意味着模型每每过拟合，不能很好的泛化。性能

咱们一般这样利用这两个参数调整咱们的神经网络，其中部份内容会在本文的后面进一步探讨。学习

梯度消失与梯度爆炸

欠拟合和过拟合

简单分类器示例

上图从左到右分别是欠拟合、合适的拟合和过拟合三种状况。测试

过拟合

过拟合是如何产生的？

根本缘由：参数太多，模型复杂度太高，同时数据相对较少，或噪声相对较多。

整个训练过程实际上是模型复杂度和过拟合之间的一个权衡，以下图优化

如何应对过拟合？我以前的一篇译文提到过：译文

如何应对过拟合？

结合前文中提到的误差和方差，咱们有如下经验：

也就是：

增大训练数据量 - 最有效的方案
Cross Validation - 数据量不足的状况下经常使用
Early Stopping - 提前结束训练过程
正则化（regulation）- 主要是L1和L2正则化
采用 Dropout - 随机将某些神经元的权重初始化为零

Cross Validation

回到交叉验证，根据切分的方法不一样，交叉验证分为下面三种：　　　

简单交叉验证

所谓的简单，是和其余交叉验证方法相对而言的。首先，咱们随机的将样本数据分为两部分（好比： 70%的训练集，30%的测试集），而后用训练集来训练模型，在测试集上验证模型及参数。接着，咱们再把样本打乱，从新选择训练集和测试集，继续训练数据和检验模型。最后咱们选择损失函数评估最优的模型和参数。　

S折交叉验证

又称（S-Folder Cross Validation），和第一种方法不一样，S折交叉验证会把样本数据随机的分红S份，每次随机的选择S-1份做为训练集，剩下的1份作测试集。当这一轮完成后，从新随机选择S-1份来训练数据。若干轮（小于S）以后，选择损失函数评估最优的模型和参数。

留一交叉验证

又称（Leave-one-out Cross Validation），它是第二种状况的特例，此时S等于样本数N，这样对于N个样本，每次选择N-1个样原本训练数据，留一个样原本验证模型预测的好坏。此方法主要用于样本量很是少的状况。

早停法（Early Stopping）

为了得到性能良好的神经网络，网络定型过程当中须要进行许多关于所用设置（超参数）的决策。超参数之一是定型周期（epoch）的数量：亦即应当完整遍历数据集多少次（一次为一个epoch）若是epoch数量太少，网络有可能发生欠拟合（即对于定型数据的学习不够充分）；若是epoch数量太多，则有可能发生过拟合（即网络对定型数据中的“噪声”而非信号拟合）。

早停法背后的原理其实不难理解：