学习率优化(一)

上节介绍了反向传播时权值更新方法,更新隐含层:;更新输出层:。看似已经完美的解决了问题,可是怎么取值呢?python 咱们把问题转化到求二次函数极值问题,例如,若是用梯度降低法求函数极值,每一次的取值为,一步步趋近极小值。函数 若是采用固定学习率:,初始值取,学习率使用0.01:学习   分析:通过200次迭代,;通过1000次迭代,;大数据 效果还能够,但这个学习率只使用于,若是改变函数还能够这
相关文章
相关标签/搜索