反向传播算法 — Backpropagation

时间 2020-12-30

原文原文链接

首先，我们以一个双层神经网络为例展示神经网络关于数据标签的计算过程（即前向传播）。

其中， Wl 和 bl 分别表示第 l 层神经元的权重参数和偏置项， sl=WlTal−1+bl 。 gl 表示第 l 层神经元的激活函数，不同层可以选取不同的函数作为激活函数。 al 表示第 l 层神经元的输出。本例最终的输出 a2 即是该神经网络针对数据集 X 计算得到的预测值 ŷ 。

我们可以构建出本神经网络的成本函数 J(ŷ ) 。一个常见的方式是采用最小二乘法，使得残差最小化：

J (y ̂) = 1 m \sum i = 1 m (y i - y ̂ i) 2 = 1 m (Y - Y ̂) T (Y - Y ̂)

我们以上图为例，将每层神经元的计算过程以数学公式表示：

{s 1 = W 1 a 0 + b 1 a 1 = g 1 (s 1) {s 2 = W 2 a 1 + b 2 a 2 = g 2 (s 2)

然后，我们来扩展成本函数 J(ŷ ) ：

J (y ̂) = J (a 2) = J [g 2 (s 2)] = J [g 2 (W 2 a 1 + b 2)] = J {g 2 [W 2 g 1 (W 1 a 0 + b 1) + b 2]} = J {g 2 [W 2 g 1 (W 1 X + b 1) + b 2]}

为易于观察，对于不同函数 J,g2,g1 ，上式采用了不同的括号。上式即嵌套的函数： J(ŷ )=J(g2(g1(X))) 。因此，使得成本函数 J(ŷ ) 最小化，我们可以使用梯度下降法得到此例中的自变量 W1,W2,b1 和 b2 ：

{W 2 = W 2 - α ▽ J (W 2) b 2 = b 2 - α ▽ J (b 2) {W 1 = W 1 - α ▽ J (W 1) b 1 = b 1 - α ▽ J (b 1)

通用的更新公式为：

W l = W l - α ▽ J (W l) b l = b l - α ▽ J (b l)

上式便是神经网络的反向传播算法，即其学习策略。下面我将继续以文章开始处的例子详细解释反向传播算法。

其中， dWl 和 dbl 分别表示成本函数 J 对于 Wl 和 bl 的偏导数， ds1 亦是如此。我们可以先计算一下 W2 和 b2 的更新公式（因为它们离成本函数最近，偏导的计算量最小）：

{W 2 = W 2 - α ▽ J (W 2) b 2 = b 2 - α ▽ J (b 2)

其中， ▽J(W2)=∂J∂W2=dW2 ， ▽J(b2)=∂J∂b2=db2 。

d a 2 = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ d a 21 d a 22 ⋮ d a 2 l 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial J \partial a 21 \partial J \partial a 22 ⋮ \partial J \partial a 2 l 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ - 2 m (y 1 i - a 2 1 i) - 2 m (y 2 i - a 2 2 i) ⋮ - 2 m (y l 2 i - a 2 l 2 i) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

其中， l2 表示神经网络第2层的神经元数目， J=1m∑i=1m(yi−ŷ i)2 。

d s 2 = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ d s 21 d s 22 ⋮ d s 2 l 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ d a 21 g 2' (s 21) d a 22 g 2' (s 22) ⋮ d a 2 l 2 g 2' (s 2 l 2) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ g 2' (s 21) 0 ⋮ 0 0 g 2' (s 22) 0 \dots \dots \dots 00 g 2' (s 2 l 2) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ d a 21 d a 22 ⋮ d a 2 l 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ g 2' (s 21) 0 ⋮ 0 0 g 2' (s 22) 0 \dots \dots \dots 00 g 2' (s 2 l 2) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ d a 2

然后，求 dW2 和 db2 ：

d W 2 = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ d w 211 d w 221 ⋮ d w 2 l 2 1 d w 212 d w 222 d w 2 l 2 2 \dots \dots \dots d w 2 1 l 1 d w 2 2 l 1 d w 2 l 2 l 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ d s 21 a 11 d s 22 a 11 ⋮ d s 2 l 2 a 11 d s 21 a 12 d s 22 a 12 d s 2 l 2 a 12 \dots \dots \dots d s 21 a 1 l 1 d s 22 a 1 l 1 d s 2 l 2 a 1 l 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ d s 21 d s 22 ⋮ d s 2 l 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ [a 11 a 12 \dots a 1 l 1] = d s 2 a 1 T

d b 2 = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ d b 21 d b 22 ⋮ d b 2 l 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ d s 21 d s 22 ⋮ d s 2 l 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = d s 2

对于 W1 和 b1 的更新公式：

{W 1 = W 1 - α ▽ J (W 1) b 1 = b 1 - α ▽ J (b 1)

其中， ▽J(W1)=ds1a0T ， ▽J(b1)=ds1 （推导过程同上）。其中：

d s 1 = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ g 1' (s 11) 0 ⋮ 0 0 g 1' (s 12) 0 \dots \dots \dots 00 g 1' (s 1 l 1) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ d a 1

d a 1 = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ d a 11 d a 12 ⋮ d a 1 l 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ d s 2 T [w 211 w 221 \dots w 2 l 2 1] T d s 2 T [w 212 w 222 \dots w 2 l 2 2] T ⋮ d s 2 T [w 2 1 l 1 w 2 2 l 1 \dots w 2 l 2 l 1] T ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = W 2 T d s 2

因此，根据链式规则可得更为通用的公式：

d s l = g l' (s l) W l + 1 T d s l + 1 d s l a s t = g l a s t' (s l a s t) \partial J \partial a l a s t

最后，我将本例的前向传播和反向传播的图示结合起来，并给出完整的反向传播更新公式。

{W l = W l - α ▽ J (W l) = W l - α d s l a l - 1 T b l = b l - α ▽ J (b l) = b l - α d s l {b l - α d s l {d s l = g l' (s l) W l + 1 T d s l + 1 d d s l + 1 d s l a s t = g l a s t' (s l a s t) \partial J \partial a l a s t l a s t =