基于TensorRT的神经网络推理与加速

一. 引言node NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎，用于在生产环境中部署深度学习应用程序，应用于图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。TensorRT是第一款可编程推理加速器，能加速现有和将来的网络架构。TensorRT包含一个为优化生产环境中部署的深度学习模型而建立的库，可获取通过训练的神经网络(一般使用32位或16位数据)，

>>阅读原文<<