深度学习模型遇到的问题以及解决的tips(李弘毅机器学习-Tips for deep learning)

在深度学习过程中，我们会遇到很多问题，并不是所有的问题都是overfitting。 比如下面这个很经典的例子： 这个例子中，随着迭代次数的增加，50-layers的网络在训练集上本身就比20-layers的网络表现差。而在测试集上也表现差，这类问题我们不能只看测试集的结果就说是一个overfitting的例子。还要看训练集。因此，在深度学习的过程中我们会遇到很多问题，不同的问题有不同的解决办法。

>>阅读原文<<