神经网络原理简介

1，类比生物神经元 2，层次结构 输入层，隐藏层（1,2），输出层；线可以理解为权重参数w。在神经网络中需要指定w的大小（矩阵的大小） 神经网络的流程：输入数据；前向传播计算损失值；反向传播计算梯度；使用梯度更新参数 3，非线性结构（激活函数） 激活函数作用于前一层权重参数后： 4，激活函数 4.1 Sigmoid激活函数 反向传播中的求导操作： 当x的绝对值较大时，则导数接近为0，则在链式法则中

>>阅读原文<<