深度学习tricks

1 先把预训练模型的特征层抽出来当作一个net，然后让所有的数据过一遍这个net，算是预训练完了。因为不需要计算梯度，可以将bitch_size开到很大，同样只过一遍，速度也很快。 然后把过一遍的数据保存的本地，然后新建一个全链接层的小net，然后加载保存的数据进行训练，同样，因为网络小，bitch_size也可以开到很大，而且速度飞快 2 使用更好的显卡跑训练，节省生命 训练的时候观察 loss

>>阅读原文<<