NLP深度学习 —— CS224学习笔记7

2、神经网络技巧和贴士 2.1 梯度检查 我们讨论了用微分来计算神经网络模型中参数的误差梯度，这里讨论另一种近似技巧，不需要误差反向传播。 其中 这种方法计算成本极其高，要使用两次前向传播，但是一种验证反向传播的好方法。 一个简单的梯度检查可以用以下方法实现 2.2 正则 我们使用L2正则防止过拟合 是Frobenius范数。 使用这样的约束可以解释为先验贝叶斯信任，优化的权重接近0。 2.3 神

>>阅读原文<<