吴恩达深度学习入门学习笔记之神经网络和深度学习（第一周）

第一周为深度学习概论，教授了一些基础概念。
2017.8.31
1.3 用神经网络进行监督学习
对于通常的数据，好比说房价问题，使用标准的神经网络。

对于图像领域中的一些数据处理，常用CNN（卷积神经网络）

对于序列数据，好比音频文件，和时间有关系，是一维时间序列，常用RNN（循环神经网络）。还有单词等逐个出现的数据。

对于一些复杂的数据，好比说道路检测中图像加雷达，能够用更复杂的混合神经网络。

机器学习可应用于结构化（structured data）和非结构化数据（unstructured data）
结构化例子：表格，数据库等
非结构化例子：图像，音频文件

1.4 为何深度学习会兴起
1.兴起缘由：数据量的剧增，计算能力的增加+算法的创新

2.要想解决问题的性能更好：1.数据量够大 2.网络够大
3.一般使用m来表示训练集的大小
4.经过将sigmoid函数转换为ReLU函数，可以使得梯度降低法运行的更快。
由于sigmoid函数两边梯度接近于0，因此学习会变得很是缓慢；由于在用梯度降低法时，梯度接近于0时，参数会变化的很慢。而ReLU对于正值输入的梯度为1.