第12课：优化神经网络——网络初始化技巧与超参数调试

上一篇，我们主要介绍了神经网络中几种常见的梯度下降优化算法，包括 Mini-Batch、Momentum、Nesterov Momentum、AdaGrad、RMSprop、Adam、Learning Rate Decay ，并对各自特点进行了说明和对比。本文将重点讲解初始化神经网络的一些技巧以及如何高效进行超参数调试。 网络输入标准化 我们知道，神经网络的输入层是训练样本的各个特征值，而不同特征

>>阅读原文<<