李宏毅 机器学习笔记 Brief Introduction of Deep Learning

  横轴是时间，从2012年的第一个季度到2016年的第一个季度，纵轴是谷歌内部项目使用深度学习的数量的变化图。

回归深度学习的历史：
  一个隐藏层可以代表任意的函数，为什么需要这么深的网络呢？
  RBM intialization并不是真正的突破，起到的效果很有限，所以现在文献中很少提了。

深度学习的步骤如下所示：

全连接层：

计算结果如下所示：

给定神经网络的结构，本质上相当于定义一个函数集合。

相邻层之间的神经元两两之间都有连接，所以称为是全连接层。

深度学习指的是包含很多隐藏层的网络。

全连接层本质上就是矩阵的乘法。

  GPU提高了矩阵运算的速度。

  隐藏层是对特征进行提取，输出层是得到类别。

手写数字识别，所使用的神经网络的输入是256维，输出是10维。

超参数的选择？
AutoML

梯度下降：

自己能计算梯度嘛？

反向传播可参考以下链接：
http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/DNN backprop.ecm.mp4/index.html

网络越深效果越好吗？

为什么不使用宽度学习，而是使用深度学习呢？

推荐资料如下所示：

1. My Course: Machine learning and having it deep and structured
   http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html
   6 hour version: http://www.slideshare.net/tw_dsconf/ss-62245351
2. “Neural Networks and Deep Learning” written by Michael Nielsen
   http://neuralnetworksanddeeplearning.com/
3. “Deep Learning” written by Yoshua Bengio, Ian J. Goodfellow and Aaron Courville
   http://www.deeplearningbook.org