深度学习模型推理速度缓慢缘由分析

碰到一个问题，在训练好一个模型后，实际使用时，即只有前向推理过程，速度缓慢，大概1s能执行100次。之因此会认为推理的速度变慢，主要缘由在于，在训练模型时，会在训练集和验证集上，获取算法的准确率，那么就须要进行前向推理。在这里，会有大概500,000个样本，而只须要200s左右，大约2500/s。web 那么为何在实际进行推理时速度会变慢这么多呢？算法 分析后发现，主要缘由有二：网络 一、训练模型

>>阅读原文<<