关于正则惩罚L2 norm里w越小越好的一些另类思考

以下全是本博主一派胡言，把深度学习看成是一种乐趣，而不是压力，在探索中，发现了很多乐趣：   一，现在通常用的激励函数，在input比较大的时候，不饱和，也就是分类效果好，而在input比较大的地方趋于饱和。w越小，就意味着input = wx+b比较小，也就是落在不饱和区的可能性更大，也就是更接近于线性。     二，黑色的直线显然比紫色的线泛华能力更好，黑色直线的w要小于紫色线的斜率。对于这种

>>阅读原文<<