深度学习笔记（01）：为什么深度学习会兴起？

规模促进了深度学习的进步  这些规模包括： （1）数据集规模的扩大 （2）计算机计算能力的增强 （3）算法的改进 还有一个重要的原因：激活函数的变化，从原来的sigmoid函数变为后来的Relu激活函数。 ReLU：rectified linear unit.对于正值的输入它的导师都是1，梯度不会趋向于0，也就是训练过程中，参数W和参数b的变化不会趋向于0。

>>阅读原文<<