【深度学习3】Logistics回归的梯度下降法

回顾logistics回归的公式，如下所示：

 

 

 

考虑单个样本的情况：

 

假设一个样本只有两个特征x1，x2；那么对应的权重参数只有两个参数w1，w2；还有一个参数b

这里怎么进行通俗易懂的理解：

也就是一张图片，只由x1与x2两个数值表示，那么训练时用到的参数维度要与图片的维度相匹配，所以权重参数也为w1，w2

 

转化成计算图的形式，如下所示：

 

 

反向传播计算w1，w2以及b的梯度，如下所示：

 

 

利用梯度下降法，迭代公式如下所示：

 

 

 

考虑m个样本的情况：

 

转化成计算图的形式，如下所示：

 

 

可能存在的误区：之前一直认为一张图片对应两个特征，那么对于参数w也就有两个；现在为m个样本，那么参数w应该是2*m的矩阵，也就是对应的有m个第一个特征，m个第二个特征。❌

 

其实是只有两个参数w:[w1 w2],只是在m次前向传递过程中，反复利用到它，产生了m个不同的Loss，从而得到平均值J(w,b),再通过反向传播的方式进行计算w1与w2的梯度，利用梯度下降的方式进行修正

 

 

实现的伪代码如下所示：

 

 

 

 

是否有人会疑惑为什么偏导是以下这个样子的：

 

数学过程如下所示：

 

a.首先先计算dz

b.其次，再根据以下这个计算图，即可得到dw1、dw2以及db

 

 

 

 

 

 

 

有错误，望指出，小白学习，不断更新与修改中~