GPU和显存的关系

gpu和显存相似于，cpu和内存的关系。显存用来存放模型，数据，显存越大，所可以运行的网络就越大。GPU是计算单元，用来进行数值计算。网络 神经网络的显存占用包括：orm 1）模型参数的显存占用：只有有参数的层才会有显存占用，这部分的显存占用和输入无关，模型加载完以后就会占用有参数的层包括：卷积层，全链接层，BatchNorm,Embedding层。无参数的层：激活层sigmoid（sigmoid

>>阅读原文<<