TensorRT Inference 加速原理

TensorRT加速原理简述 TensorRT对于网络结构进行了重构和优化，主要体现在以下几个方面： (1) tensorRT通过解析网络模型将网络中无用的输出层消除以减小计算。 (2)是对于网络结构的垂直整合，即将目前主流神经网络的Conv、BN、Relu三个层融合为了一个层，例如将图1所示的常见的Inception结构重构为图2所示的网络结构。 图1 图2 (3)对于网络的水平组合，水平组合是

>>阅读原文<<