深度学习（三）：DNN的正则化策略综述

和普通的机器学习算法一样，DNN也会遇到过拟合的问题，需要考虑泛化，这里我们就对DNN的正则化方法做一个总结。 一、L1&L2正则化 想到正则化，我们首先想到的就是L1正则化和L2正则化。L1正则化和L2正则化原理类似，这里重点讲述DNN的L2正则化。 而DNN的L2正则化通常的做法是只针对与线性系数矩阵 W W W,而不针对偏倚系数 b b b。利用我们之前的机器学习的知识，我们很容易可以写出D

>>阅读原文<<