L1正则化求导问题

时间 2021-01-02

原文原文链接

L1正则化求导问题在实现机器学习算法时，最常用的是L2正则化，因为L2正则化有连续可微的性质，易求导。但L1能产生稀疏解，而且稀疏解的泛化能力会比较好，不过由于L1正则化并不是处处连续的，所以优化的时候会有一定难度。对于目标函数不是连续可微的情况，可以用次梯度来进行优化，但次梯度存在两个问题：求解慢通常不会产生稀疏解次梯度定义：次梯度，次导数此时可以用 Proximal Algorit

>>阅读原文<<

1. L1 L2 正则化
2. L1、L2正则化
3. L1 L2正则化
4. L1，L2正则化
5. L1正则化和L2正则化
6. 正则化(1) L1和L2正则化
7. L1正则化及其推导
8. L1正则化和L2正则化面试常考题
9. L1正则化的理解
10. L2/L1正则化方法
更多相关文章...
• Scala 正则表达式 - Scala教程
• PHP 正则表达式(PCRE) - PHP参考手册
• PHP Ajax 跨域问题最佳解决方案
• IntelliJ IDEA中SpringBoot properties文件不能自动提示问题解决