Deep Learning读书笔记3---深度学习中的正则化

1.概念 正则化定义为“对学习算法的修改——旨在减少泛化误差而不是训练误差”。 目前有许多正则化策略。 有些策略向机器学习模型添加限制参数值的额外约束。 有些策略向目标函数增加额外项来对参数值进行软约束。 有时侯，这些约束和惩罚被设计为编码特定类型的先验知识； 其他时候，这些约束和惩罚被设计为偏好简单模型，以便提高泛化能力。 有时，惩罚和约束对于确定欠定的问题是必要的。 其他形式的正则化，如被称为

>>阅读原文<<