总结smooth L1为什么好!

smooth L1 loss能从两个方面限制梯度: 当预测框与 ground truth 差别过大时,梯度值不至于过大; 当预测框与 ground truth 差别很小时,梯度值足够小。 考察如下几种损失函数,其中 损失函数对 x 的导数分别为: 观察 (4),当 x 增大时 L2 损失对 x 的导数也增大。这就导致训练初期,预测值与 groud truth 差异过于大时,损失函数对预测值的梯度十
相关文章
相关标签/搜索