神经网络——损失函数与激活函数的选择及各自优缺点

DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？下面我们就对DNN损失函数和激活函数的选择做一个总结。 1. 梯度消失与梯度爆炸 我们设第一层卷积的参数为 ( W 1 , b 1 ) (W_1, b_1) (W1​,b1​)第二层卷积的参数是， ( W 2 , b 2 ) (W_2, b_2) (W2​,b2​)依次类推。又设激活函数为 f f f，每一层卷积在经过激活函

>>阅读原文<<