深度学习小白——神经网络4（梯度检查）

上一篇讨论了神经网络的静态部分：如何建立网络的链接、数据和损失函数，这篇将致力于讲解神经网络的动态过程，即学习参数和搜索最优超平面的过程安全 1、梯度检查网络 df(x)/dx = (f(x+h)-f(x-h))/2h，其中h是一个很小的数字，且用该公式梯度检查时，要计算两次损失函数，可是梯度的近似值会准确不少函数 在对比数值梯度和解析梯度时，采用相对偏差比较好 |f'n-f'a|/max{f'n

>>阅读原文<<