深度学习_准备工作

深度学习 常用函数 学习率问题 反向传播： 神经网络可以表达非线性的原因 参数初始化 常用函数 sigmoid： Relu激活函数 sigmoid存在的主要缺点是 当网络层数较多的时候 容易发生梯度消失 因为在sigmoid中 x值过大或者过小 它的倒数值都会接近于0 ，这样便不能进行反向传播。而Relu函数不会 Softmax： 学习率问题 学习率过高过或过低都不行 反向传播： 反向传播即在 更

>>阅读原文<<