深度学习与PyTorch笔记20

**函数 sigmoid 压缩0到1，特别适合probability和RGB的像素重建。 容易存在梯度离散。 tanh sigmoid函数的缩放平移，压缩-1到1，中间的梯度范围更大。也会存在梯度离散现象，但是在RNN中用的较多。 relu 在一定程度上解决了sigmoid函数的梯度离散现象。大于0时梯度为1，计算方便。有时也会出现梯度离散，这时需要弥补小于0的部分， x < 0 , y =

>>阅读原文<<