深度学习--传统神经网络

神经网络的起源：线性回归 什么是线性回归 什么是线性回归 线性回归是指用线性关系来描述输入到输出的映射关系。 线性回归的优化方法：梯度下降 梯度下降的步骤 梯度下降的总结 线性回归的延伸 常见的非线性激励函数 Sigmoid函数 在y=1和-1之间，梯度约为0 ，梯度就不会更新 tahn函数 缺点类似于sigmiod函数。 ReLU函数 神经网络中90%是用到relu函数，梯度等于1，不会出现梯度

>>阅读原文<<