TensorRT-优化-原理

TensorRT-优化-原理 一．优化方式 TentsorRT 优化方式： TensorRT优化方法主要有以下几种方式，最主要的是前面两种。 层间融合或张量融合（Layer & Tensor Fusion） 如下图左侧是GoogLeNetInception模块的计算图。这个结构中有很多层，在部署模型推理时，这每一层的运算操作都是由GPU完成的，但实际上是GPU通过启动不同的CUDA（Compute

>>阅读原文<<