反向传播算法及数学例子

文章目录 1 链式求导 2 前向传播 3 反向传播 1 链式求导 想要弄懂反向传播算法，就必须弄懂链式求导（高数的多元微分）。这里简单地提两种链式求导的规则。 第一种： 第二种： 2 前向传播 前向传播是神经网络的基础，直观上来说就是每一层的输入和这一层权重W做矩阵相乘，然后加上偏置b，经过激活函数计算之后作为输出。 其中f就是激活函数，可以是sigmoid、relu、tanh等等函数。 3 反向

>>阅读原文<<