分布式深度学习原理

无监督的特征学习和深度学习已经证明，通过海量的数据来训练大型的模型可以大大提高模型的性能。但是，考虑需要训练的深度网络模型有数百万甚至数十亿个参数需要训练，这其实是一个非常复杂的问题。我们可以很快完成复杂模型的训练，而不用等待几天甚至几个星期的时间呢？Dean等人提出了一个可行的训练方式，使我们能够在多台物理机器上训练和serving一个模型 作者提出了两种新的方法来完成这个任务，即模型并行和数据

>>阅读原文<<