深度学习------Lingvo框架下的加速通道GPipe

开源地址：https://github.com/tensorflow/lingvo/blob/master/lingvo/core/gpipe.py BigGan、BERT和GPT-2的出现表明，越大的神经网络模型可以带来越好的性能。其中能写出各种假新闻的GPT-2参数就有15亿个之多。 如果你也在训练一个参数超多的模型，那么现在有个好消息要告诉你。 谷歌在最近公布的Lingvo框架下开源了GPi

>>阅读原文<<