神经网络与深度学习笔记（三）：逻辑回归的损失函数

以上是以前咱们所学习的sigmoid函数以及logistic函数，下面是咱们代价函数的广泛定义形式：

虽然广泛形式是有了，固然这个函数也仅仅是对第i个x才成立，若是想要获得连续的x的值则须要不断累加第i个的代价的值。若是想要上面的那种形式来做为代价函数，那么咱们获得的代价函数不是凸函数所以不可能进行优化，因而引入了下面的这种形式来进行的，其具体形式是怎样的呢？咱们来看看：

代价函数是使用实际的值和拟合的值进行作差。另外一个须要提到的点是咱们在作逻辑回归的时候，所使用的值都是已经标定好了的值，咱们知道每个点所对应的y的值，也知道没有一个点的x的特征值，所以咱们仅须要作的是拟合出一个适合这个x/y的模型便可。下面咱们把这个逻辑回归的损失函数写成一个连续的等式：

固然这是为何？咱们能够看看统计学当中的极大似然估计就知道了，但就目前而言咱们并不须要详细了解这个过程。