深度学习之卷积神经网络CNN(二)训练方法

  CNN的训练和DNN类似,使用前向传播得到预测值后,再用反向传播算法链式求导,计算损失函数对每个权重的偏导数,然后使用梯度下降法对权重进行更新。   一、参数初始化 神经网络的收敛结果很大程度取决于参数的初始化,理想的参数初始化方案使得模型训练事半功倍,不好的初始化方案不仅会影响网络收敛效果,甚至会导致梯度弥散或梯度爆炸。 注意参数不能全部初始化为0,这是因为在反向传播时梯度值相同,得到的所有
相关文章
相关标签/搜索