模型训练与测试 -----BN层()

Feature normalization Feature scaliing 首先是为何要归一化或者标准化,从下面能够看出来若是咱们的输入的样本或者特征值,他们之间的差别比较大,那么其实咱们的梯度降低图是畸形的。好比下面由于x1比x2小太多,因此梯度没有x2 那么浮夸。可是若是他们是同样的话,那么他们就有右边这样的东西了。因此为了好的梯度降低,咱们须要针对不一样的参数用不一样的learning r
相关文章
相关标签/搜索