FitNets: Hints for Thin Deep Nets

时间 2020-12-24

标签 Knowledge Distillation 繁體版

原文原文链接

其实应该先早点写这篇文章的这篇文章主要是将hinton的output distillation扩展到了feature distillation 该loss用来拉进student和teacher feature的距离该loss就是与hard label、soft label做cross entroy 训练过程需要注意：先进行hints training，即选择某一层feature对齐后，利用H

>>阅读原文<<

1. FitNets: Hints for thin deep nets论文笔记
2. 知识蒸馏（Distillation）相关论文阅读（3）—— FitNets : Hints for Thin Deep Nets
3. 系列论文阅读之知识蒸馏（二）《FitNets : Hints for Thin Deep Nets》
4. A Taxonomy of Deep Convolutional Neural Nets for Computer Vision
5. A Fast Learning Algorithm for Deep Belief Nets
6. Deep Convolutional Nets for Semantic Image Segmentation with Deep Gaussian CRFs
7. CHAPTER 11-Training Deep Neural Nets-part3
8. Do Deep Nets Really Need to be Deep?
9. 「Deep Learning」Note on Deeply-Supervised Nets
10. Training Deep Nets with Sublinear Memory Cost
更多相关文章...
• Swift for 循环 - Swift 教程
• Scala for循环 - Scala教程
• PHP开发工具
• C# 中 foreach 遍历的用法

最新文章

1. 在windows下的虚拟机中,安装华为电脑的deepin操作系统
2. 强烈推荐款下载不限速解析神器
3. 【区块链技术】孙宇晨：区块链技术带来金融服务的信任变革
4. 搜索引起的链接分析-计算网页的重要性
5. TiDB x 微众银行 | 耗时降低 58%，分布式架构助力实现普惠金融
6. 《数字孪生体技术白皮书》重磅发布（附完整版下载）
7. 双十一“避坑”指南：区块链电子合同为电商交易保驾护航！
8. 区块链产业，怎样“链”住未来？
9. OpenglRipper使用教程
10. springcloud请求一次好用一次不好用zuul Name or service not known

本站公众号

欢迎关注本站公众号,获取更多信息

1. FitNets: Hints for thin deep nets论文笔记
2. 知识蒸馏（Distillation）相关论文阅读（3）—— FitNets : Hints for Thin Deep Nets
3. 系列论文阅读之知识蒸馏（二）《FitNets : Hints for Thin Deep Nets》
4. A Taxonomy of Deep Convolutional Neural Nets for Computer Vision
5. A Fast Learning Algorithm for Deep Belief Nets
6. Deep Convolutional Nets for Semantic Image Segmentation with Deep Gaussian CRFs
7. CHAPTER 11-Training Deep Neural Nets-part3
8. Do Deep Nets Really Need to be Deep?
9. 「Deep Learning」Note on Deeply-Supervised Nets
10. Training Deep Nets with Sublinear Memory Cost

>>更多相关文章<<