《Pruning from Scratch》论文笔记

1. 导读 导读：这篇文章从不同于原始网络剪裁的角度出发，分析了预训练给网络剪裁带来的影响，之后分析是否在网络剪裁的时候需要进行预训练，从而提出了一种不需要预训练进行的网络剪裁方式，其是通过随机初始化的方式去获取剪裁的网络结构，在这个结构上也获得了与在预训练模型上性能接近的结果，好处就是省去了花费较多预训练过程。 在文章中将网络剪裁的方式划分为如下的三种形式： （a）传统的网络剪裁方式，使用预训练

>>阅读原文<<