权值的初始化

权值的初始化 1.梯度的消失和爆炸 为什么梯度消失和爆炸为什么可怕？ 因为梯度消失和爆炸会导致模型无法训练 由上图可知梯度的大小和每一层的输出值的大小有关，所以想要抑制梯度消失和爆炸，就要控制每一层的输出大小在合理范围内。 “nan”表示数据过大或过小 正常了 但未考虑奇函数和偶函数 加入tanh()函数最后梯度消失了 Xavier解决的是饱和激活函数 那非饱和的Relu激活函数应该怎么解决？ 出

>>阅读原文<<