梯度下降法算法原理

神经网络BP算法通过前向传播获得loss值，再反向传播优化权重参数W，W起点一般是随机初始化。 用BP算法的时候，不是一次迭代1张图像，而是一次迭代多张， data_batch在数据集中一次取出256个数据，组成1个batch 学习率step_size乘上更新的梯度weights_grad，就完成了对weights的一次更新 epoch:假设训练集有4000张图像，将4000张图像都跑完叫做一个e

>>阅读原文<<