使用openvino加速resnet50在VOC2007上的推断结果

平台是win10，cpu是Intel® Core™ i5-8300H CPU @ 2.30GHz(一共4核，在这里分配了最多3核做推断)，工具是openvino的DL Workbench。 下图的点从左至右的batch_size依次为1、16、32、48和64。 这是cpu核数为1时的推断结果图。 可以看出，随着batch_size的增加，延迟和fps均增加，直到在某个值后，fps不再增加，仅延迟

>>阅读原文<<