李宏毅机器学习-4

李宏毅机器学习-4 1、LR损失函数和梯度下降 2、Softmax原理 3、Softmax损失函数和梯度下降 1、LR损失函数和梯度下降 一般线性函数的损失函数是平方损失函数，LR求最大似然估计是因为sigmoid函数求导后无法保证是凸函数，在优化的过程中可能得到的是局部最小值，而非全局最优。取对数是方便求导。 损失函数除以m这一因子并不改变最终求导极值结果，通过除以m可以得到平均损失值，避免样本

>>阅读原文<<