Coursera Deep Learning 2 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and O

Tuning process

下图中的须要tune的parameter的前后顺序， 红色>黄色>紫色，其余基本不会tune.

先讲到怎么选hyperparameter, 须要随机选取(sampling at random) 

 

　　　　

随机选取的过程当中，能够采用从粗到细的方法逐步肯定参数

　　

 

有些参数能够按照线性随机选取， 好比 n^[l]

　　

 

 可是有些参数就不适合线性的sampling at radom, 好比 learning rate α，这时能够用 log

　　

 

　　

Andrew 很幽默的讲到了两种选参数的实际场景 pandas vs caviar. pandas approach 通常用在你的算力不够时候，要持续几天的training.

　　

 

Batch norm

咱们知道对input layer 作 normalizing, 其实对每一层的输入均可以作normalizing, 这就是 batch norm. 作batch norm 时，有对 activation后的结果作norm 的，也有对activation 前的结果 z 作batch norm 的，这里讲的是后一种，对z 作norm.

　　

 

 

　　

 

 　　

 

 　　

 为何Batch Norm 起做用呢？

先看下下面图讲到的convariate shift，若是traing set 的distribution 变了，就应该从新train model. 一样，对NN的每一层也有相似的问题.

　　

 Andrew讲到batch norm 是为了尽可能使得不一样layer decouple，这样相互影响就要小一点，整个NN比较稳定.

　　

 Batch norm 还有regularization 的做用，可是这个算法主要不是作这个的. 不建议专门用它来作regularization.

　　

 

对 test set 求 μ, σ²， 采用了不同的方法，就是基于签名mini-batch set 求出来的μ, σ² 应用exponetially weighted average 求平均值. 它和logistic regression 同样，decision boudary 是线性的.

　　

 

Softmax Regression

Softmax regression 就是 logistic regression 的generaliazation 版本， 它能够用在multi-class clarification 问题上。和logistic regression 同样，decision boudary 都是线性的. 若是要使得decison boudary 是非线性的就须要deep network.

　　

　　

 

　　

 

Programing framework

 TensorFlow by google, an example

　　

 

 

Ref:

Batch Normalization: 批标准化（Batch Normalization ）