神经网络的优化

1、神经元模型 2、神经网络激活函数 3、神经网络层数计算 4、神经网络的优化   5、学习率 指数衰减学习率 根据batch_size的轮数，动态更新学习率 1、定义global_step记录当前运行了多少轮；只是计数功能，不可训练，trainable=False标记为不可训练 2、学习率衰减率在(0,1)之间，   滑动平均衰减率 滑动平均tf 实现 滑动平均通常有两个参数，滑动平均衰减率、g

>>阅读原文<<