7. 深度学习实践:正则化

正则化:ML中的一种策略,可减少测试误差,提高模型泛化能力。 开发更有效的正则化策略:深度学习领域主要研究工作之一。 模型族训练的三个过程: 不包括真实的数据生成过程,欠拟合和含有偏差。 匹配真实数据生成过程 除了2中,还包括许多其他可能的生成过程,方差主导的过拟合 正则化的目标:使得模型从第3种转化为第2种。 1. 参数范数惩罚 1.1 L2 参数正则化 权重衰减。 目标函数: 梯度为: 单步梯
相关文章
相关标签/搜索