7. 深度学习实践：正则化

正则化：ML中的一种策略，可减少测试误差，提高模型泛化能力。 开发更有效的正则化策略：深度学习领域主要研究工作之一。 模型族训练的三个过程： 不包括真实的数据生成过程，欠拟合和含有偏差。 匹配真实数据生成过程 除了2中，还包括许多其他可能的生成过程，方差主导的过拟合 正则化的目标：使得模型从第3种转化为第2种。 1. 参数范数惩罚 1.1 L2 参数正则化 权重衰减。 目标函数： 梯度为： 单步梯

>>阅读原文<<