最优化—梯度下降法

最优化问题 最优化问题就是求解函数极值的问题, 包括极大值和极小值, 几乎所有机器学习算法归根到底都是在求解最优化问题。在高等数学/微积分中有求极值统一的思路:找函数导数等于0的点,只要函数可导我们就可以用这种方法。在机器学习中我们一般求函数的极小值,若求极大值我们只需要整体加负号。有些时候我们会对优化变量x有约束, 包括等式约束和不等式约束, 他们定义了优化变量的可行域。我们的目标即一个优化的问
相关文章
相关标签/搜索