Deep Mutual Learning论文阅读笔记
摘要 模型蒸馏是将知识从教师模型传给学生模型有效且被广泛使用的技术，典型的应用就是将一个很大并且能力很强的网络中集成到一个比较小的网络中，因为小的网络更加满足低存储和高效率的要求。在本文中，我们提出一种深度相互学习策略，在训练的过程中学生网络和教师网络可以相互合作学习，而不是单方向的学生从教师那里学习。我们的实验表明各种网络架构都能够从相互学习策略中受益，并且在CIFAR-100和行人重识别数据集
相关文章
- 1. Machine Learning & Deep Learning 论文阅读笔记
- 2. 论文阅读笔记《Deep Meta-Learning: Learning to Learn in the Concept Space》
- 3. 【论文笔记——DIM】Learning Deep Representations By Mutual Information Estimation and Maximization
- 4. 【DML】Deep Mutual Learning
- 5. 论文笔记：Deep Residual Learning
- 6. 论文笔记(1)：Deep Learning.
- 7. Deep Breath - 论文阅读笔记
- 8. 【转】Deep MANTA论文阅读笔记
- 9. Target-aware deep tracking 论文阅读笔记
- 10. 【论文阅读笔记】Deep Learning based Recommender System: A Survey and New Perspectives
- 更多相关文章...
- • RSS 阅读器 - RSS 教程
- • C# 文本文件的读写 - C#教程
- • Tomcat学习笔记（史上最全tomcat学习笔记）
- • JDK13 GA发布：5大特性解读
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. Machine Learning & Deep Learning 论文阅读笔记
- 2. 论文阅读笔记《Deep Meta-Learning: Learning to Learn in the Concept Space》
- 3. 【论文笔记——DIM】Learning Deep Representations By Mutual Information Estimation and Maximization
- 4. 【DML】Deep Mutual Learning
- 5. 论文笔记：Deep Residual Learning
- 6. 论文笔记(1)：Deep Learning.
- 7. Deep Breath - 论文阅读笔记
- 8. 【转】Deep MANTA论文阅读笔记
- 9. Target-aware deep tracking 论文阅读笔记
- 10. 【论文阅读笔记】Deep Learning based Recommender System: A Survey and New Perspectives