神经网络训练细节part1

神经网络的训练步骤。 神经网络的理解 激活函数的直接理解 sigmod函数作为激活函数的第一个问题：     梯度弥散（因为如果到了饱和区域 则梯度趋近于0）     输出结果不关于零点对称     计算复杂度较高 tan(h(x))作为激活函数的问题： 学习率太高容易导致一种问题就是：容易使得某些神经元不会被数据集中任何数据所激活。这些神经元就像你整个神经网络中死去的部分。 解决方法： 什么激活

>>阅读原文<<