转：知识蒸馏

转：https://www.cnblogs.com/jins-note/p/9679450.html 本文为转载，主要是给自己看的，最好可以到原文查看。 蒸馏神经网络取名为蒸馏（Distill），其实是一个非常形象的过程。 我们把数据结构信息和数据本身当作一个混合物，分布信息通过概率分布被分离出来。首先，T值很大，相当于用很高的温度将关键的分布信息从原有的数据中分离，之后在同样的温度下用新模型融合

>>阅读原文<<