学习率和batchsize如何影响模型的性能?

前几期我们讲述了数据,模型的深度,宽度对深度学习模型性能的影响,这一次我们讲述学习率和batchsize对模型性能的影响,在实践中这两个参数往往一起调整。 1 为什么说学习率和batchsize 目前深度学习模型多采用批量随机梯度下降算法进行优化,随机梯度下降算法的原理如下, n是批量大小(batchsize),η是学习率(learning rate)。可知道除了梯度本身,这两个因子直接决定了模型
相关文章
相关标签/搜索