cs231n_lecture_7_怎样训练神经网络-PART 2

回顾上一节，我们默认ReLU是首选的激活函数；权重初始化要合理；输入之前要对数据做预处理，一般做一下零均值/std和BN。 这里再解释一下为什么规范化是重要的。 可以看到，没有规范化之前，w的微小改变都有可能影响到loss，很难最优化。规范化之后loss对w不那么敏感了。 监视学习过程，可视化loss和accuracy，随时做分析和调整。对于超参数，随机初始化一个范围，利用少的迭代次数和小的数据集

>>阅读原文<<