凸优化学习笔记16:次梯度 Subgradient

前面讲了梯度下降的方法,关键在于步长的选择:固定步长、线搜索、BB方法等,但是如果优化函数本身存在不可导的点,就没有办法计算梯度了,这个时候就需要引入次梯度(Subgradient),这一节主要关注次梯度的计算。 1. 次梯度 次梯度(subgradient)的定义为 ∂ f ( x ) = { g ∣ f ( y ) ≥ f ( x ) + g T ( y − x ) , ∀ y ∈ dom f
相关文章
相关标签/搜索