深度学习中的常见优化问题

1. 偏差与方差 正则化 dropout正则化 1. 偏差与方差 区分偏差和方差，我们可以看训练集上的误差和验证集上的误差。 训练集的误差低，验证集的误差高，表现为高方差，可能是过拟合了 训练集的误差高，验证集与训练集的误差与训练集误差相当，表现为高偏差，可能是欠拟合了 如图所示： 直观看，红点表示真实值的范围，蓝点表示预测。 当蓝点特别聚集时，表示低方差，当蓝点特别稀疏时，表示高方差 当蓝点特别

>>阅读原文<<