交叉熵和均方差损失函数的比较（Cross-Entropy vs. Squared Error）

将从线性回归，逻辑回归，多分类的逻辑回归（softmax）三个例子分析。我们定义，将b放到w中，，其中f为激活函数。 总结 对SE而言，要得到一个线性的梯度，必须输出不经过激活函数才行。这样的情况只有线性回归，所以SE较适合做回归问题，而CE更适合做分类问题，在分类问题中，CE都能得到线性的梯度，能有效的防止梯度的消失； SE作为分类问题的loss时，由于激活函数求导的影响，造成连续乘以小于1大于

>>阅读原文<<