吴恩达深度学习第二课第一周做业及学习心得体会——初始化权重、L2正则化、dropout

概述 学习课程后,再第一周第四课做业的基础上完成该周做业,现将心得体会记录以下。python 初始化权重 代码更改 在以前的创建神经网络的过程当中,提到权重w不能为0,而将它初始化为一个随机的值。然而在一个深层神经网络中,当w的值被初始化过大时,进入深层时呈指数型增加,形成梯度爆炸;太小时又会呈指数级衰减,形成梯度消失。网络 Python中将w进行随机初始化时,使用numpy库中的np.rando
相关文章
相关标签/搜索