CS231N 笔记5_神经网络训练

权值初始化   2010年,Glorot等人提出了“Xavier初始化”,他们关注了神经元的方差表达式。具体目的大致为使得每层输出的方差尽量相等; Batch Normalization   Batch Normalization, 批规范化,即在每次SGD时,通过mini-batch来对相应的activation做规范化操作,使得结果(输出信号各个维度)的均值为0,方差为1。其本质是为了解决反向
相关文章
相关标签/搜索