为什么L1正则项产生稀疏的权重,L2正则项产生相对平滑的权重

L1 和L2正则项的定义如下: L1=∑i|wi|L2=∑i(wi)2 L 1 = ∑ i | w i | L 2 = ∑ i ( w i ) 2 首先我们先计算一下他们对应的导数,导入如下所示: ∂L1∂wi=1or−1→wt+1i=wti+η(−1or1)∂L2∂wi=wi→wt+1i=wti+ηwi ∂ L 1 ∂ w i = 1 o r − 1 → w i t + 1 = w i t +
相关文章
相关标签/搜索