微软开源深度学习优化库 DeepSpeed，可训练 1000 亿参数的模型

人工智能的最新趋势是，更大的自然语言模型可以提供更好的准确性，但是由于成本、时间和代码集成的障碍，较大的模型难以训练。微软日前开源了一个深度学习优化库 DeepSpeed，通过提高规模、速度、可用性并降低成本，可以在当前一代的 GPU 集群上训练具有超过 1000 亿个参数的深度学习模型，极大促进大型模型的训练。同时，与最新技术相比，其系统性能可以提高 5 倍以上。 根据微软的介绍，DeepSpe

>>阅读原文<<