L1 VS L2(深度学习中的L1与L2)

L1 loss L1 loss的数学公式和函数图如下所示： L1函数连续，但是在𝑦−𝑓(𝑥)=0处不可导,L1 loss大部分情况下梯度都是相等的，这意味着即使对于小的损失值，其梯度也是大的,这不利于函数的收敛和模型的学习。但是，无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。 L2 loss(MSE loss) MSE曲线的特点是光滑连续、可导，便于使用

>>阅读原文<<