减少模型方差的方法借鉴

数据信噪比非常低,rnn仍然能学到有用的东西; 减少方差的方法有三种; 第一,保存多个checkpoints; 第二、用三个随机数种子,每个种子生成一个模型,一个模型10个checkpoints;即共有30个checkpoints 第三、训练过程中,对于参数值使用均值来代替原来的更新的值;即使用历史值计算均值;在原始的迭代中,每次迭代参数都会更新;但现在就用一个均值; 好比交易价格,价格不断的更新
相关文章
相关标签/搜索