深度学习超参数理解

这篇博客是对深度学习中比较重要的或者常见的超参数做一个整理笔记。 1：learning rate（） 学习率决定了权值更新的速度，在迭代更新权值的过程中，设置过大容易使训练的模型跨过最优值，导致过拟合；设置过小会使梯度下降过程过慢。这个参数是根据经验和不断实验来设置。 2：Weight decay（） 为了避免过拟合，必须对目标函数cost function（损失函数一般也叫价值函数）加入一些正则

>>阅读原文<<