CS231n学习记录Lec7 Training训练神经网络(上)

Lec7 训练神经网络(上) 1. Activation Functions激活函数 sigmod function 最原始的激活函数之一,不太建议使用。 饱和时候梯度消失。输入值很大的时候梯度为o。(*) sigmod存在的问题:(**) tanh function ReLU function relu的计算更接近于生物神经元放电特性,计算更简单,收敛速度更快。 不再以零为中心是一个问题。负半轴
相关文章
相关标签/搜索