Pytorch转ONNX转TensorRT加速推理过程

咱们训练好深度学习模型后,这时其仍然需在特定的深度学习框架下运行,每每不能进行高性能推理。python NVIDIA提供了一套高效推理的框架——TensorRT,可将已训练好的模型转为TensorRT引擎格式,而后进行高效推理。git 对于Pytorch用户而言,该技术路线为:pytorch model-->onnx file-->TensorRT engine。github 所以,咱们须要作的只
相关文章
相关标签/搜索