反向传播算法的理解（图片来自cs231n李飞飞课件）

1 链式求导法则（L是损失函数） 2 简单例子（没有矩阵向量参与运算） 把复杂的函数表达式拆分成一个个基础运算，每个基础运算记做一个节点，针对单个节点进行求导。需要服从链式求导法则，由后端开始反向传递，节点左边（前端）的梯度等于该节点求导的结果乘上右边（后端）的求导梯度（箭头上端是正向输入，下端是反向梯度，这里最末端的梯度1.0是提前假设的）。 2.1 引入Sigmoid函数可以简化节点图 2.2

>>阅读原文<<