初始PyTorch（二）：激活函数

激活函数σ：python 常见的激活函数题 1.Sigmoid/logistic 区间[0, 1]函数   求导：spa   a=torch.linspace(-100,100,10) torch.sigmoid(a) 原始a:3d sigmoid后：code 缺陷：当x->+∞时，σ'=0，致使参数θ=θ-lr*θ'得不到更新，也就是梯度离散问题。blog 2.Tanh   区间[-1, 1]i

>>阅读原文<<