基本神经网络BP的训练以及反向传播

• 一般情况，神经网络主要由网络结构，激活函数，最优权重的参数学习算法

• 多层前馈神经网络（BP算法）是目前应用较为广泛的一种参数学习算法。BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络。

• 既然我们无法直接得到隐层的权重，我们需要通过输出层得到输出结果和期望输出的误差来间接调整隐层的权重。BP算法就是采用这种思想设计出来的算法。基本思想：学习过程由**信号的正向传播（求损失）和误差的反向传播（误差回传）**两个过程组成。
  

• 一般流程

• 1. 正向传播FP（求损失）。根据输入的样本，给定的初始化权重值W和偏置项b，计算最终输出值，以及输出值与实际值之间的损失值，如果损失值不在给定的范围内，则进行反向传播的过程，否则停止w，b的更新
  2. 反向传播BP（回传误差），将输出以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为各单元权重的依据。
  • 在前馈神经网络中，反向传播从求解损失函数偏导过程中，步步向前求解每一层的参数梯度；
  • 在卷积神经网络中，反向传播可以求解全连接层的参数梯度
  • 在循环神经网络中，反向传播算法可以求解每一个时刻t或者状态t的参数梯度