2.1 神经网络基础（一）

二分分类

计算机要保存一张图片，实际须要保存三个矩阵。分别对应的是红绿蓝三个颜色通道。

在二分分类问题中，目标是训练出一个分类器。它以图片中的特征向量x做为输入，预测输出结果标签y是1（是一个猫）仍是0（不是一个猫）

最后，为了方便表示，咱们将x和y都写成矩阵形式，在python中

x.shape()

这样的命令就是用来看矩阵的行数和列数。

logistic回归

这是一个学习算法，在监督学习中处理二分问题。

如图所示

对于一个Logistic回归而言，一般学习的就是一个

$$ y = w^Tx+b $$

的过程，实际上，对于一维而言。咱们能够理解成是y=ax+b的过程。然而这个数算出来可能很大，也可能很小。而咱们但愿算出来的是一个介于0到1之间的几率，所以咱们要用sigma函数处理一下$\sigma$

logistic回归损失函数

为了训练logistic函数的w和b须要定义一个成本函数。下面讲解一下利用logistic来训练成本函数。

最后，Loss function是在单个训练样本中定义的，它衡量了在单个训练样本上的表现。下面定义的成本函数（Cost function），是在整体样本中的表现。

梯度降低法

这里介绍一下用梯度降低法来训练w和b

成本函数衡量了w和b在训练集上的效果，要学习获得合适的w和b，天然的就会想到成本函数J尽可能小，由此来肯定w和b。

咱们使用梯度降低的方法，来指望获得全局最优解。这张三维图能够直观的帮助咱们理解梯度降低法，咱们假设w和b都是一维的。这里的J(w,b)实际上表示的就是这个像碗同样图形的高度。咱们用梯度降低法来找到这个碗底，实际上就是找到这个全局最优解。

咱们进一步直观的来理解梯度降低法

如图所示，咱们忽略了b，只是从J和w的角度来考虑，实际上梯度降低的过程就是不断迭代

$$ w=w-\alpha\frac{dJ(w)}{dw} $$

b也是一样的道理，若是咱们从三个变量角度出发，所不一样的是求的是偏导数而不是导数而已。