吴恩达深度学习--深度神经网络

介绍

• logistic回归是浅层神经网络，浅层神经网络和深层神经网络是神经网络的层数决定的。

深度神经网络例子及符号约定

4层神经网络示意图

符号约定

• 上图表示的是一个4层神经网络，3层隐层1层输出层，这4层的单元的数目分别是：4、4、3、1。我们有如下符号约定：

• l 为层数，这里l=5。

• 输入层的维度： n[0]=3

• 隐藏层的维度： n[1]=5 、 n[2]=5 、 n[3]=3

• 输出层的维度： n[4]=1

• 激活函数： a[l]=g[l](z[l]) 、 z[l]=wTa[l−1]+b[l] ，( l>=1 )

正向传播

z[l]=w[l]A[l−1]+b[l]

A[l]=g[l](z[l])

正向传播的向量化

z[1]=w[1]A[0]+b[1]

A[1]=g[1](z[1])

z[2]=w[2]A[1]+b[2]

A[2]=g[2](z[2])

z[3]=w[3]A[2]+b[3]

A[3]=g[3](z[3])

z[4]=w[4]A[3]+b[4]

Y′=g[4](z[4])=A[4]

• 从第一层到第4层的计算显式的使用for循环，没有其他办法。

核对矩阵的维数

• w[l] 的维度： (n[l],n[l−1])

• b[l] 的维度： (n[l],1)

• dw 维度同 w 维度

• db 维度同 b 维度

• z 的维度： (n[l],m)

• a 的维度同 z 的维度

• x 的维度： (n[l−1],m)

-