使用模型预测的时候GPU使用率的问题

这里是在使用LSTM进行预测的时候的gpu使用情况

将C:\Program Files\NVIDIA Corporation\NVSMI中的nvidia-smi文件拖入到cmd窗口查看GPU 的使用情况

 

下图是未进行模型预测时的使用情况：可以看到当没有模型运行时，GPU的使用率是很低的

 

下图是进行预测时的使用情况（batchsize=10000）：可见GPU的使用率已经很高了，但是显存利用率还是较低，可能和batch的大小有关系