Knowledge Distillation: A Survey文献阅读
知识蒸馏用于压缩模型 知识分为：基于响应、基于特征和基于关系。如下图： 基于响应的产生softlabel。 基于特征的可以学习特征图、**图等。 关系图为上述两种的混合。如两种特征图的关系（FSP）、多个老师模型构建关系图、数据的结构知识等。 蒸馏方案： 离线蒸馏、在线蒸馏、自我蒸馏。如下图 离线蒸馏：先预训练教师模型、蒸馏时教师模型只复制产生知识。 在现蒸馏：教师模型和学生模型同时训练。 自我蒸
相关文章
- 1. knowledge distillation论文阅读之：Learning from a Lightweight Teacher for Efficient Knowledge Distillation
- 2. knowledge distillation 论文阅读之：Triplet Loss for Knowledge Distillation
- 3. Knowledge Distillation论文阅读（2）：Learning Efficient Object Detection Models with Knowledge Distillation
- 4. knowledge distillation 论文阅读之：ResKD: Residual-Guided Knowledge Distillation
- 5. 【论文阅读】Structured Knowledge Distillation for Semantic Segmentation
- 6. 论文阅读 A Gift from Knowledge Distillation: Fast Optimization
- 7. Knowledge Distillation
- 8. 论文阅读：A Survey on Transfer Learning
- 9. 文献阅读：Improving Multi-Task Deep Neural Networks via Knowledge Distillation for Natural Language Under
- 10. 文献阅读（13）AAAI2017-A Survey on Network Embedding
- 更多相关文章...
- • RSS 阅读器 - RSS 教程
- • PHP 实例 - AJAX RSS 阅读器 - PHP教程
- • JDK13 GA发布：5大特性解读
- • Scala 中文乱码解决
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. knowledge distillation论文阅读之：Learning from a Lightweight Teacher for Efficient Knowledge Distillation
- 2. knowledge distillation 论文阅读之：Triplet Loss for Knowledge Distillation
- 3. Knowledge Distillation论文阅读（2）：Learning Efficient Object Detection Models with Knowledge Distillation
- 4. knowledge distillation 论文阅读之：ResKD: Residual-Guided Knowledge Distillation
- 5. 【论文阅读】Structured Knowledge Distillation for Semantic Segmentation
- 6. 论文阅读 A Gift from Knowledge Distillation: Fast Optimization
- 7. Knowledge Distillation
- 8. 论文阅读：A Survey on Transfer Learning
- 9. 文献阅读：Improving Multi-Task Deep Neural Networks via Knowledge Distillation for Natural Language Under
- 10. 文献阅读（13）AAAI2017-A Survey on Network Embedding