2020李宏毅学习笔记——11.adaptive learning rate
第二种办法 adaptive learning rate（在train data上训练结果不好） 1.比如，adagrad 计算方法： 每个parameter都有不同的learning rate。用固定的learning rate n除以过去的所有gradient descent的平方值和，并开根号。 一个经验： 如果考虑两个参数w1，w2。若图中w1在‘’横方向‘’（等值线浓密）上变化比较平坦，
相关文章
- 1. 李宏毅学习笔记44.Meta Learning
- 2. 李宏毅《Deep Learning》学习笔记 - transformer
- 3. 2020李宏毅学习笔记——9. Backpropagation
- 4. 2020李宏毅学习笔记——5.Optimization for Deep Learning
- 5. 李宏毅机器学习笔记01
- 6. 李宏毅机器学习笔记---Optimization
- 7. 【ML】 李宏毅机器学习笔记
- 8. 台大李宏毅Machine Learning 2017Fall学习笔记 (11)Convolutional Neural Network
- 9. 李宏毅 2020 Machine Learning
- 10. 2020李宏毅学习笔记——8.Brief Introduction of Deep Learning
- 更多相关文章...
- • 您已经学习了 XML Schema，下一步学习什么呢？ - XML Schema 教程
- • 我们已经学习了 SQL，下一步学习什么呢？ - SQL 教程
- • Tomcat学习笔记（史上最全tomcat学习笔记）
- • 适用于PHP初学者的学习线路和建议
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 李宏毅学习笔记44.Meta Learning
- 2. 李宏毅《Deep Learning》学习笔记 - transformer
- 3. 2020李宏毅学习笔记——9. Backpropagation
- 4. 2020李宏毅学习笔记——5.Optimization for Deep Learning
- 5. 李宏毅机器学习笔记01
- 6. 李宏毅机器学习笔记---Optimization
- 7. 【ML】 李宏毅机器学习笔记
- 8. 台大李宏毅Machine Learning 2017Fall学习笔记 (11)Convolutional Neural Network
- 9. 李宏毅 2020 Machine Learning
- 10. 2020李宏毅学习笔记——8.Brief Introduction of Deep Learning