tf使用adam训练参数变化

tf adam 训练了1000步，比较了每一步参数值相比上一步的变化值，以下是5*5*1*32卷积层的的参数，随机选取了5个参数值：   感觉在训练过程中，参数值的变化不是趋近于0，而是一直在0附近做上下波动，而且振幅没有明显变小的趋势。   但是把每一步的参数值记录下来，发现趋势还是比较明显的。以下是训练5000步，每50步记录一次参数值，同样选择第1层的卷积核，随机取几个参值：

>>阅读原文<<