【零基础】神经网络优化之L1、L2

一、序言 　　前面的文章中，我们逐步从单神经元、浅层网络到深层网络，并且大概搞懂了“向前传播”和“反向传播”的原理，比较而言深层网络做“手写数字”识别已经游刃有余了，但神经网络还存在很多问题，比如最常见的两个问题：“过拟合”和“欠拟合”，下图中从左到右依次是“欠拟合”、“刚刚好”、“过拟合”。    　　简单点说，欠拟合是我们学习到的w没能很好地“满足”训练数据的特征，一般是因为训练数据太少、训练

>>阅读原文<<