深度学习基础知识入门及案例代码实战-深度学习牛刀小试

版权声明：本套技术专栏是做者（秦凯新）平时工做的总结和升华，经过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，若有任何学术交流，可随时联系。

1 神经网络基础知识整理

• RNN网络模型

  

• 几率函数

  

• Softmax分类器是不知道知足的分类器

• Softmax分类器计算步骤先exp，再归一化映射到几率值（0-1），最后计算损失函数Li

  0.13表示猫的几率，经过Li LOG函数变的越大，0.89 离正确类别越远。

  

• SVM与Softmax对比（SVM在10，9，9的结果中计算损失值，损失值将为0，分类效果将不会太好）

• 最优化问题（前向传播，从输入值到损失值的过程，前向传播已经获得初始的权重参数，而后反向传播将主导权重参数的变化）

• 梯度降低

• 反向传播（权重参数对最终的Loss值产生了多大影响，进行回馈调节）
• 链式法则（反向影响能够链式相乘）

• 反向传播计算法则

• 反向传播函数封装求解

  

• 反向传播基本规律

2 神经网络重要特色(激活函数才是决策者)

• 层次结构

  

• 非线性，只有非线性（激活函数）才能最终获得分类结果

  

• Sigmoid函数的弊端（梯度消失问题，w1为0.01时，w0已经不能被反馈更新）

• ReLu首选激活函数（x<0等于0）

  

3 神经网络展现结果

3.1 神经元对分类的影响

• 神经元为一个：

  

• 神经元为二个：

  

• 神经元为三个：

  

• 神经元20个，产生了过拟合问题

  

3.2 正则化的做用

3.3 数据的预处理

3.4 权重初始化（w采用高斯初始化或者随机初始化,b采用0初始化）

3.5 DROP-OUT过程(每次前项传播和后向传播根据保留率随机选择)

4 总结

方便复习，整成笔记，内容粗略，勿怪。

版权声明：本套技术专栏是做者（秦凯新）平时工做的总结和升华，经过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，若有任何学术交流，可随时联系。

秦凯新 于深圳