机器学习-功能缩放与模型初始化

在开始训练模型之前，我们应该学习的一个重要主题是权重初始化。 错误的权重初始化可能导致“从不收敛训练”或缓慢的训练。 权重矩阵格式如下： 将输出f(an)(out)的数量视为行，将输入f(an)(in)的数量视为列。 您还可以考虑另一种格式： 这里f(an)(out) 为列，f(an)(in) 为行。 如果将权重初始化为零，则梯度下降将永远不会收敛: 用小值初始化: 一个更好的主意是使用接近零（但

>>阅读原文<<