Tutorial: Knowledge Distillation

时间 2020-07-20

标签 tutorial knowledge distillation 繁體版

原文原文链接

概述 Knowledge Distillation(KD)通常指利用一个大的teacher网络做为监督，帮助一个小的student网络进行学习，主要用于模型压缩。其方法主要分为两大类web Output Distillation Feature Distillation Output Distillation Motivation 主要拉近teacher和student最终输出的距离，参考论文：

>>阅读原文<<

1. Tutorial: Knowledge Distillation
2. Knowledge Distillation
3. Knowledge Distillation 笔记
4. Awesome Knowledge-Distillation
5. Similarity-Preserving Knowledge Distillation
6. 论文Relational Knowledge Distillation
7. Correlation Congruence for Knowledge Distillation
8. knowledge distillation 论文阅读之：ResKD: Residual-Guided Knowledge Distillation
9. knowledge distillation 论文阅读之：Triplet Loss for Knowledge Distillation
10. Knowledge Distillation论文阅读（2）：Learning Efficient Object Detection Models with Knowledge Distillation
更多相关文章...
• C# 结构体（Struct） - C#教程
• Lua 数组 - Lua 教程
• Git五分钟教程
• Flink 数据传输及反压详解

最新文章

1. Duang!超快Wi-Fi来袭
2. 机器学习-补充03 神经网络之**函数(Activation Function)
3. git上开源maven项目部署多module maven项目（多module maven+redis+tomcat+mysql）后台部署流程学习记录
4. ecliple-tomcat部署maven项目方式之一
5. eclipse新导入的项目经常可以看到“XX cannot be resolved to a type”的报错信息
6. Spark RDD的依赖于DAG的工作原理
7. VMware安装CentOS-8教程详解
8. YDOOK：Java 项目 Spring 项目导入基本四大 jar 包导入依赖，怎样在 IDEA 的项目结构中导入 jar 包导入依赖
9. 简单方法使得putty（windows10上）可以免密登录树莓派
10. idea怎么用本地maven

本站公众号

欢迎关注本站公众号,获取更多信息

1. Tutorial: Knowledge Distillation
2. Knowledge Distillation
3. Knowledge Distillation 笔记
4. Awesome Knowledge-Distillation
5. Similarity-Preserving Knowledge Distillation
6. 论文Relational Knowledge Distillation
7. Correlation Congruence for Knowledge Distillation
8. knowledge distillation 论文阅读之：ResKD: Residual-Guided Knowledge Distillation
9. knowledge distillation 论文阅读之：Triplet Loss for Knowledge Distillation
10. Knowledge Distillation论文阅读（2）：Learning Efficient Object Detection Models with Knowledge Distillation

>>更多相关文章<<