神经网络：激活函数、过拟合、Drop-out、权重初始化

神经元（权重参数w）的个数就是权重参数w的个数 激活函数： 1.sigmod函数（已废弃）迭代次数到了一定值导数趋于0，出现梯度消失的问题，这样w-w0*w中的w0会趋于0使得w的值基本不变，这样的迭代没有意义。 2.ReLu函数(受欢迎)：没有梯度消失的问题，求导简单，使得梯度下降更加有意义。 过拟合： 神经网络要泛化能力强才有用，主要看实际的用途，不是看训练的时候达到100%，图1出现过拟合，

>>阅读原文<<