别再蒸馏3层BERT了！变矮又能变瘦的DynaBERT了解一下

时间 2021-01-22

原文原文链接

一只小狐狸带你解锁炼丹术&NLP秘籍神经网络模型除了部署在远程服务器之外，也会部署在手机、音响等智能硬件上。比如在自动驾驶的场景下，大部分模型都得放在车上的终端里，不然荒山野岭没有网的时候就尴尬了。对于BERT这类大模型来说，也有部署在终端的需求，但考虑到设备的运算速度和内存大小，是没法部署完整版的，必须对模型进行瘦身压缩。说到模型压缩，常用的方法有以下几种：量化：用FP16或者INT8代替

>>阅读原文<<

1. 别再蒸馏3层BERT了！变矮又能变瘦的DynaBERT了解一下
2. 独家 | 用spaCy蒸馏BERT模型
3. BERT模型蒸馏有哪些方法？
4. BERT 蒸馏在垃圾舆情识别中的探索
5. 蒸馏法——人脸识别
6. 为啥 TiFlash 又变快了？
7. 知识蒸馏
8. 模型蒸馏
9. 独家 | 基于知识蒸馏的BERT模型压缩
10. 推荐：基于知识蒸馏的BERT模型压缩
更多相关文章...
• PHP 变量 - PHP教程
• ASP 变量 - ASP 教程
• 为了进字节跳动，我精选了29道Java经典算法题，带详细讲解
• 三篇文章了解 TiDB 技术内幕——说存储