【深度学习】常见的代价函数的理解与选择

前言 代价函数决定着模型训练的方向，而优化方法也是建立在代价函数的基础上的。而不同的问题往往有不同的代价函数，这里最一些比较常见的代价函数进行总结，也供模型设计的时候予以参考。 在这之前首先做一个区分： 损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。 代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均

>>阅读原文<<