《Deep Learning》学习2——梯度优化
*一. 梯度* 被优化的函数称为目标函数、准则、代价函数以及损失函数。 在《微积分》中，大家都用过导数，函数在某个点的导数代表的是f(x)在该点处的斜率。而梯度是函数相对于一个向量求导，细分到向量的各成员上，就是对各成员求偏导。梯度表示为 优化通常是将目标函数最小化或者最大化。在机器学习中，优化更通常是使损失函数（对有监督来说，输出和label的误差）最小化。 梯度优化的原则： ϵ表示著名的学习率
相关文章
- 1. Learning Deep Learning（学习深度学习）
- 2. 机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)
- 3. 深度强化学习：Deep Q-Learning
- 4. 【Deep Learning】深度学习之规范化
- 5. [Deep Learning] 深度学习中消失的梯度
- 6. 深度学习Deep learning
- 7. Deep learning深度学习
- 8. 《deep learning》学习笔记（8）——深度模型中的优化
- 9. 深度学习中的优化方法：Optimization for Deep Learning
- 10. 机器学习——深度学习(Deep Learning)
- 更多相关文章...
- • SEO - 搜索引擎优化 - 网站建设指南
- • 您已经学习了 XML Schema，下一步学习什么呢？ - XML Schema 教程
- • Tomcat学习笔记（史上最全tomcat学习笔记）
- • 算法总结-广度优先算法
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. Learning Deep Learning（学习深度学习）
- 2. 机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)
- 3. 深度强化学习：Deep Q-Learning
- 4. 【Deep Learning】深度学习之规范化
- 5. [Deep Learning] 深度学习中消失的梯度
- 6. 深度学习Deep learning
- 7. Deep learning深度学习
- 8. 《deep learning》学习笔记（8）——深度模型中的优化
- 9. 深度学习中的优化方法：Optimization for Deep Learning
- 10. 机器学习——深度学习(Deep Learning)