TensorRT 安装与使用及Pytorch的TensorRT部署

1. Tensorrt安装 最近考虑对已经训练好的Pytorch模型进行Float16优化，以达到部署时inference减少耗时，显存开销。但是不少博客写的乱七八糟，我这里整理一份本身安装的过程。供你们参考。html 首先咱们须要查看本身服务器或者GPU是什么版本的驱动，而后才能够安装对应版本的Tensorrtpython 1.1 查看cuda版本 [~]$ nvcc -V nvcc: NVID

>>阅读原文<<