CS231n lecture6 Note
训练神经网络 1.激活函数：使用relu作为激活函数，同时要小心设置学习率。学习率不能设置得太大，不然会导致梯度更新之后的权值数值变得很大，从而使得W和X加权求和之后的数值小于0，则所有的激活神经元都会变成dead neuron，dead neuron指的是当前神经元节点的输出激活值为0，并不代表最后的损失函数值为0，即损失函数对于当前层的激活值偏导数不为0（upstream gradient），
相关文章
- 1. cs231n-Lecture6
- 2. cs231n笔记:lecture6
- 3. CS231N-Lecture6 Training Neural Network part-2
- 4. cs231n 2018系列笔记(lecture6)
- 5. CS231n lecture2 Note
- 6. CS231n 2017 Spring Lecture6 Training Neural Networks Ⅰ总结
- 7. CS231n系列课程Lecture6: Training Neural Networks, Part 2
- 8. Data mining lecture6 notes: Clustering
- 9. cs224n Lecture6 Language Models and RNNs
- 10. CS131学习笔记（lecture6）
- 更多相关文章...
- • PHP children() 函数 - PHP参考手册
- • DTD - 元素 - DTD 教程
- • Kotlin学习（一）基本语法
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. cs231n-Lecture6
- 2. cs231n笔记:lecture6
- 3. CS231N-Lecture6 Training Neural Network part-2
- 4. cs231n 2018系列笔记(lecture6)
- 5. CS231n lecture2 Note
- 6. CS231n 2017 Spring Lecture6 Training Neural Networks Ⅰ总结
- 7. CS231n系列课程Lecture6: Training Neural Networks, Part 2
- 8. Data mining lecture6 notes: Clustering
- 9. cs224n Lecture6 Language Models and RNNs
- 10. CS131学习笔记（lecture6）