【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)

在进行 【深度学习的数学】接“2×3×1层带sigmoid激活函数的神经网络感知机对三角形平面的分类训练预测”,输出层加偏置b 的测试中,我们发现,模型的初始权重对模型的训练结果是影响非常大的, 如图对比了两种不同的模型训练结果,权重和偏置初始参数均采用正态分布随机值 情况1 情况2 情况3 可以看到,情况1最接近我们预期的结果,情况2和情况3就比较奇怪,所以,选择一个好的初始权重和偏置是非常重要
相关文章
相关标签/搜索