总结一：神经网络训练过程当中可能引发NaN的三种缘由总结

在训练神经网络的过程当中，常常会遇到当训练进行到必定次数后，cost会变成NaN的问题。在网上搜索相关问题时，发现大多人的观点是认为learningRate过大致使NaN，可是通过我本身摸索，我发现绝大多数状况下NaN是由如下几种状况致使的。learningRate过大只是会形成cost不收敛，在最优势附近震荡。 第一种状况： cost的计算公式为：cost = -(y.t * log(yHat)

>>阅读原文<<