【笔记】神经网络中的一些基本原理和公式

（1）神经网络中的神经元的输出： （2）梯度下降算法： （3）随机梯度下降：（每次训练完一个batch后，进行一次参数更新） （4）反向传播： （5）momentum： 是梯度下降法中一种常用的加速技术。对于一般的SGD，其表达式为,沿负梯度方向下降。而带momentum项的SGD则写生如下形式： （6）学习率： （7）weight decay: weight decay是放在正则项（regula

>>阅读原文<<