Tensorflow调参总结

  1 批处理 tf在进行批处理时,会需要用到均值与方差数据,而在批处理中使用的均值与方差不是单纯的使用当前批数据的均值与方差,而是对会根据当前批均值方差和上一批维护的均值方差进行指数衰减求一个新的均值方差,而对slim中的batch_norm,需要注意以下几点: slim batch_norm函数的输入参数中有一个decay,该参数能够衡量使用指数衰减函数更新均值方差时,更新的速度,取值通常在0
相关文章
相关标签/搜索