超参数的设定

文章目录 超参数的设定 1.权重初始化。 2. η \eta η 值的选取 3.规范化参数 4.小批量数据大小(minibatch) 5.总结 超参数的设定 1.权重初始化。 创建神经网络之后，我们需要进行权重和偏置的初始化。之前的方式就是根据独立高斯随机变量来选择权重和偏置，其被归一化为均值为0，标准差1。 上种方式获得了不错的效果。但有没有更好的方式。我们会使用均值为0，方差为 1 n i n

>>阅读原文<<