神经网络基础学习系列（五）——准备数据

输入网络 下图是S函数的图像，从图像中咱们能够直观的看到若是输入变大，激活函数就会变得很是平坦。函数   若是咱们使用梯度学习新的权重，那么这样的一个平坦的激活函数会出现问题。由于权重的改变取决于激活函数的梯度，小梯度意味着限制神经网络学习能力。也是所谓的饱和神经网络。换句话说，应该保持尽可能小的输入给激活函数。学习 同时，梯度学习新的权重的表达式也取决于输入信号,因此也不能让输入信号过小。由于计

>>阅读原文<<