本笔记系列参照吴恩达深度学习课程的视频和课件,并在学习和做练习过程中从CSDN博主何宽分享的文章中得到了帮助,再此表示感谢。
本周主要学习的内容有:
深层神经网络、深层网络中的前向传播、核对矩阵的维数、为什么使用深层表示、搭建深层神经网络块、前向和反向传播、参数 VS 超参数、这和大脑有什么关系?
一、本周学习主要疑难点
Shape of W | Shape of b | Activation | Shape of Activation | |
---|---|---|---|---|
Layer 1 | ||||
Layer 2 | ||||
Layer L-1 | ||||
Layer L |
单个样本和m个样本的l层前向传播表达如图4所示
单个样本和m个样本的l层反向传播表达如图5所示
因此,对于L层神经网络的前向传播和反向传播,我们用网络块来表示的话,就可以如图6这样来理解了
深度学习和神经网络总结:这一阶段四周的学习内容到此就结束了,从视频里可以感受到吴恩达老师讲课真的是非常简洁高效,而深度学习的基础其实就是前向传播和反向传播,因此这阶段的重点我觉得就是要熟练掌握前向传播和反向传播的推导公式,从单个神经元网络到浅层神经网络再到深层神经网络,循序渐进,而这些公式的向量化表达其实就是基本的矩阵相乘规则,所以熟练掌握前向传播和反向传播公式,对我们学习这门课程至关重要!
另外,吴恩达老师的课程练习是基于TensorFlow框架,里面的关于矩阵维数是用张量形状(shape of Tensor)的概念可以参考我翻译的官方教程Tensorflow Tensor