Transformer端侧模型压缩——Mobile Transformer

随着Transformer模型在NLP、ASR等序列建模中的普及应用，其在端侧等资源受限场景的部署需求日益增加。经典的mobile-transformer结构包括evolved tansformer、lite-transformer、mobile-bert、miniLM等模型，借助结构改进、知识蒸馏等策略实现了transformer模型的小型化、并确保精度鲁棒性。 1. The Evolved T

>>阅读原文<<