基于数据共享的神经网络快速训练方法

导读：神经网络技术的普及离不开硬件技术的发展，GPU 和 TPU 等硬件型训练加速器带来的高算力极大的缩短了训练模型需要的时间，使得研究者们能在短时间内验证并调整想法，从而快速得到理想的模型。然而，在整个训练流程中，只有反向传播优化阶段在硬件加速器上完成，而其他的例如数据载入和数据预处理等过程则不受益于硬件加速器，因此逐渐成为了整个训练过程的瓶颈。本文应用数据共享和并行流水线的思想，在一个数据读入

>>阅读原文<<