pytorch正则化——weitht decay

pytorch正则化——weitht decay 一、正则化与偏差—方差分解 1、Regularization：减少方差的策略 误差可分解为：偏差，方差与噪声之和，即：误差=偏差+方差+噪声之和 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动的影响 噪声：即表达了在当前任务上任何学习算法

>>阅读原文<<