【吴恩达深度学习】1. 神经网络和深度学习

一 神经网络基础

2.1 二分分类
1.图像RGB矩阵 64 x 64 x3 维的一个x向量
         
          

2. 构建神经网络时X为[x1,x2,x3....xm]一个R^nxm

    

      


2.8 计算图的导数计算
1.微积分链式法则
        
2. 反向传播
1.感觉是正向 需要一步一步计算才能算出j
2.反向的话,从后到前推导,比如某一个参数发生变化,只需要根据求导方程和变化幅度,就能得到结果J的变化

2.10  m 个样本的梯度下降


2.11  向量化 

    基本上就是减少for,多用向量. 比如:直接用np.dot实现矩阵乘法



2.13  向量化 logistic 回归


------------------------------------------

二 浅层神经网络

 

3.1  神经网络概览



3.2  神经网络表示


3.3  计算神经网络的输出


3.4  多样本向量化3.5  向量化实现的解释3.6  激活函数3.7  为什么需要非线性激活函数?3.8  激活函数的导数3.9  神经网络的梯度下降法3.10  (选修)直观理解反向传播3.11  随机初始化