TensorRT深度学习推理框架介绍

一.  产生背景python        深度学习的发展带动了一批深度学习框架，caffe、tensorflow、pytorch等，对于计算量庞大的CNN，效率一直是你们所关注的，接触过深度网络压缩的同窗应该知道网络压缩最关键的两个思路，剪枝和量化。网络        TensorRT就是量化，将FP32位权值数据优化为 FP16 或者 INT8，而推理精度不发生明显的下降。框架        

>>阅读原文<<