李宏毅深度学习笔记2-2Backpropagation

1、背景 梯度下降 对于参数θ (weight and bias)先选择一个初始的 θ 0 \theta^0 θ0，计算 θ 0 \theta^0 θ0的损失函数（Loss Function）设一个参数的偏微分计算完这个向量（vector）偏微分，然后就可以去更新θ。 而对于百万级别的参数（millions of parameters）：反向传播（Backpropagation）是一个比较有效率的

>>阅读原文<<