torch.backend.cudnn.benchmark

大部分状况下，设置这个 flag 能够让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。

 

通常来说，应该遵循如下准则：

1. 若是网络的输入数据维度或类型上变化不大，设置 torch.backends.cudnn.benchmark = true 能够增长运行效率；
2. 若是网络的输入数据在每次 iteration 都变化的话，会致使 cnDNN 每次都会去寻找一遍最优配置，这样反而会下降运行效率。