第三周--浅层神经网络（测验）

您已经为所有隐藏单元使用tanh激活建立了一个网络。 使用np.random.randn（…，…）* 1000将权重初始化为相对较大的值。 会发生什么？ 【 】这没关系。只要随机初始化权重，梯度下降不受权重大小的影响。 【 】这将导致tanh的输入也非常大，因此导致梯度也变大。因此，您必须将α设置得非常小以防止发散; 这会减慢学习速度。 【 】这会导致tanh的输入也非常大，导致单位被“高度激活”

>>阅读原文<<