深度学习框架图

深度学习入门（一天读懂深度学习-李宏毅）

1、深度学习框架图： （参考网址http://www.javashuo.com/article/p-ollbhoha-du.html）

2、神经网络要解决的问题

2.1、基于网络功能函数的定义（网络模型的选择，激励函数的选择，优化方法的选择）-->网络模型好坏的评估（损失函数的定义）-->选出一个最优模型-->过拟合问题的解决

2.2、常见的网络结构：DNN,CNN,RNN,LSTM(这个四种神经网络的前向传递，反向参数优化推导网址http://www.cnblogs.com/pinard/p/6418668.html)

2.3、常见的激励函数：sigmod,tanh,ReLU,maxout

2.4、常见的优化方法：SGD、Adagrad、Adadelta、Adam、adamax、Nada                                                                                          （https://blog.csdn.net/yunxinan/article/details/74858070）

2.5、常用的损失函数：square error，cross entropy

2.6、常用的解决过拟合的方法：early stop、正则化（权重衰减）、dropout、增加训练样本