Similarity-Preserving Knowledge Distillation

Motivation 下图可以发现，语义相似的输入会产生相似的**。这个非常好理解，这个C维的特征向量可以代表该输入的信息 因此本文根据该观察提出了一个新的蒸馏loss，即一对输入送到teacher中产生的特征向量很相似，那么送到student中产生的特征向量也应该很相似，反义不相似的话同样在student也应该不相似。 该loss被称为Similarity-preserving，这样studen

>>阅读原文<<