Caffe 多GPU训练问题，以及batch_size 选择的问题

1. 多GPU训练时，速度没有变得更快。html 使用多GPU训练时，每一个GPU都会运行一个 Caffe 模型的实例。好比当使用 n n n 个GPU训练时，网络会有 n n n 个分身分别在各自的GPU上运行， n n n 个网络中有一个“本尊”叫root_net，root_net除了负责正常的前传反传还负责更新参数，而其它网络只负责前传和反传。大体流程是这样的， n n n 个网络共享一个数

>>阅读原文<<