logistic regression 和 softmax regression的损失函数

我们有logistic regression可以将实数域的输入映射为0到1的概率输出，能够有很好的意义。但是如果用平常的MSE（最小均方误差）就会有问题。我们来剖析这个问题： logistic与MSE 现在有一个目标：输入0，输出1。 为了方便起见，我们现在只考虑有一个神经元 我们给定初始的权重w=0.6,b=0.9来看学习趋势，这里学习率 η=0.15，初始预测值为0.82 可以看到Cost一开

>>阅读原文<<