李宏毅 机器学习笔记 Brief Introduction of Deep Learning

  横轴是时间，从2012年的第一个季度到2016年的第一个季度，纵轴是谷歌内部项目使用深度学习的数量的变化图。

回归深度学习的历史：
  一个隐藏层能够表明任意的函数，为何须要这么深的网络呢？
  RBM intialization并非真正的突破，起到的效果颇有限，因此如今文献中不多提了。

深度学习的步骤以下所示：

全链接层：

计算结果以下所示：

给定神经网络的结构，本质上至关于定义一个函数集合。

相邻层之间的神经元两两之间都有链接，因此称为是全链接层。

深度学习指的是包含不少隐藏层的网络。

全链接层本质上就是矩阵的乘法。

  GPU提升了矩阵运算的速度。

  隐藏层是对特征进行提取，输出层是获得类别。

手写数字识别，所使用的神经网络的输入是256维，输出是10维。

超参数的选择？
AutoML

梯度降低：

本身能计算梯度嘛？

反向传播可参考如下连接：
http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/DNN backprop.ecm.mp4/index.html

网络越深效果越好吗？

为何不使用宽度学习，而是使用深度学习呢？

推荐资料以下所示：

1. My Course: Machine learning and having it deep and structured
   http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html
   6 hour version: http://www.slideshare.net/tw_dsconf/ss-62245351
2. “Neural Networks and Deep Learning” written by Michael Nielsen
   http://neuralnetworksanddeeplearning.com/
3. “Deep Learning” written by Yoshua Bengio, Ian J. Goodfellow and Aaron Courville
   http://www.deeplearningbook.org