梯度与激活函数

文章目录 梯度 初始化的影响 学习率的影响 动量 常见公式求解梯度 激活函数 derivative Sigmoid Logistic Tanh RELU Softmax 梯度 初始化的影响 一样的网络，一样的参数，初始化不一样，梯度降低的速度不一样，获得最小值也不一样，如上图。html 学习率的影响 学习率影响收敛的速度，初始状况下能够设置的大一些，不收敛在设置的小一些。web 动量 梯度降低的时

>>阅读原文<<