2020李宏毅学习笔记——34.Network Compression(3_6)
3.Knowledge Distillation（知识蒸馏） 整个知识蒸馏过程中会用到两个模型：大模型（Teacher Net）和小模型（Student Net）。 3.1 具体方法 先用大模型在数据集上学习到收敛，并且这个大模型要学的还不错，因为后面我们要用大模型当老师来教小模型学习嘛，如果大模型本身都没学好还教个锤子，对吧？1和7长得蛮像的。所以这里的损失函数用的是交叉熵，不能用简单的平方差之
相关文章
- 1. 2020李宏毅学习笔记——9. Backpropagation
- 2. 2020李宏毅学习笔记——58.Generative Adversarial Network（1_10)
- 3. 2020李宏毅学习笔记——60.Generative Adversarial Network（3_10)
- 4. 2020李宏毅学习笔记——353.Network Compression(4_6)
- 5. 2020李宏毅学习笔记——37.Network Compression(6_6)
- 6. 2020李宏毅学习笔记——39.Pointer Network
- 7. 2020李宏毅学习笔记——36.Network Compression(5_6)
- 8. 2020李宏毅学习笔记——59.Generative Adversarial Network（2_10)
- 9. 2020李宏毅学习笔记——33.Network Compression(2_6)
- 10. 2020李宏毅学习笔记——32.Network Compression(1_6)
- 更多相关文章...
- • 您已经学习了 XML Schema，下一步学习什么呢？ - XML Schema 教程
- • 我们已经学习了 SQL，下一步学习什么呢？ - SQL 教程
- • Tomcat学习笔记（史上最全tomcat学习笔记）
- • 适用于PHP初学者的学习线路和建议
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 2020李宏毅学习笔记——9. Backpropagation
- 2. 2020李宏毅学习笔记——58.Generative Adversarial Network（1_10)
- 3. 2020李宏毅学习笔记——60.Generative Adversarial Network（3_10)
- 4. 2020李宏毅学习笔记——353.Network Compression(4_6)
- 5. 2020李宏毅学习笔记——37.Network Compression(6_6)
- 6. 2020李宏毅学习笔记——39.Pointer Network
- 7. 2020李宏毅学习笔记——36.Network Compression(5_6)
- 8. 2020李宏毅学习笔记——59.Generative Adversarial Network（2_10)
- 9. 2020李宏毅学习笔记——33.Network Compression(2_6)
- 10. 2020李宏毅学习笔记——32.Network Compression(1_6)