003-神经网络基础-最优化，前向传播，反向传播

  最优化： 包括前向传播和反向传播   前向传播：   由w和x到损失函数loss的过程叫做前向传播   反向传播： 根据梯度下降的概念，找到最优的w的过程叫做反向传播。 做一件什么事情呢？ 根据前向传播的w得到的loss，将loss反馈给上一次前向传播的w进行比较两次的w，看看哪个w使得loss小，那么就用小loss的w。 然后就一直去更新w。就叫做反向传播。 也就相当于回归算法中的参数更新，

>>阅读原文<<