理论结合实际：如何调试神经网络并检查梯度

 当我们实现神经网络时，反向传播的过程中更容易出错。 因此，如果我们能够实现一些使我们能够轻松调试神经网络的工具，那将是多么酷。 在这里，我们将看到“梯度检查”的方法。 简而言之，该方法使用数值方法近似梯度。 如果实际的梯度接近计算得出的梯度，则可以正确实施反向传播。 还有很多其他方法，让我们一起看看。 有时，可以看到网络在几个epoch内陷入僵局，然后继续快速收敛。 我们还将看到如何解决这个问题

>>阅读原文<<