坐标轴下降法(解决L1正则化不可导的问题)

 设lasso回归的损失函数为:                             其中,n为样本个数,m为特征个数。     由于lasso回归的损失函数是不可导的,所以梯度下降算法将不再有效,下面利用坐标轴下降法进行求解。 坐标轴下降法和梯度下降法具有同样的思想,都是沿着某个方向不断迭代,但是梯度下降法是沿着当前点的负梯度方向进行参数更新,而坐标轴下降法是沿着坐标轴的方向。      
相关文章
相关标签/搜索