ML笔记 - 神经网络训练技巧

数据预处理 数据去均值 激活函数选择 优先使用ReLU，尝试Leaky ReLU / Maxout / ELU，少用Sigmoid 权重初始化 不同的初始方法下，随迭代轮次，损失的变化 学习率与批样本大小 不同批样本数量对于训练的影响 不同大小的学习率下，神经网络的训练损失变化 损失函数与优化器 不同优化方法下，loss的变化 超参数调优 批规范化处理 / Batch Normalization

>>阅读原文<<