第五周【任务1】签到作业 过儿--《深度学习》花书训练营【第五期】

a. 用公式说明为何L2正则化又常被称作“weight decay”   L2 regularization 又被叫做“权重衰减”，主要源于其在代价函数后面增加了一个正则化项。公式如下： 导致在[email protected]正则化后，代价函数进行求导如下： 可以发现L2正则化对b没有影响，但是对w的更新产生了影响： 相比之下，w每次更新都会比没有正则化的情况下小一些，因此起到了权重衰减（wei

>>阅读原文<<