CV第六讲—激活函数与BN

一、知识梳理 二、激活函数 1）关于simgoid函数中心非零的问题：中心非零：导致的结果是参数更新的梯度方向恒正或者恒负。 （1）首先，先说明网络计算的公式： （2）求解梯度： （3）分析梯度各部分——第一部分J/L，由下式可知此项可正可负（主要看差值）  （4）分析梯度各部分——第二部分L/f（有下图可知此部分恒正） （5）分析梯度各部分——第二部分x 由下图可知sigmoid函数的输出始终为

>>阅读原文<<