深度学习笔记1

 

深度学习笔记1

深度学习的步骤：

1. 定义一组函数
2. 给出评价的标准
3. 选出最佳函数

深度学习的好处

1. 深度->模块化->解决数据少的问题（长发男）

2. 隐含层表达能力强

    

模块化的优点：

• 很是类似的输入，彻底不一样的输出
• 彻底不一样的输入，很是类似的输出。

 

激励函数的做用

1. 非线性的激励函数，能够加强网络的表达能力
2. 使得数据归一化。（不至于某个权值很是大的特征带偏了，如身高用毫米表示）

 

Sigmoid激励函数的缺点：

• Sigmoid=1/(1+e^-x)
• 容易出现梯度消失

ReLu激励函数好处：

• 计算快（y=x)
• 解决平坦区域
• 仿生效果好

Dropout做用：

• 使得网络变得瘦长
• 避免过学习
• 同时训练多个网络，结果取平均(每一个网络都是随机Dropout，故每一个网络都不同)

为何在图形处理中使用CNN：

• 重要的模式一般比图像自己小（鸟嘴）
• 相同的模式会出如今不一样的区域
• 二次抽样不会改变咱们关注的模式（图像的缩放）

卷积做用：

• 发现重要特征，提取特征
• 卷积核自动训练出来的

Pooling做用：（选用max-pooling)

• 经过二次抽样，取最大值，丢掉其余部分（常为噪声）
• 思想：非最大值抑制

语音识别的步骤：

• 思想：将声音识别转化为图像识别

• 步骤：

  1. 将声音经过傅里叶变换->频谱图
  2. 对频谱图识别

深度学习的技巧：

• 新的激励函数

  • ReLu
  • 改进的ReLu

• 正则化

  • 快速收敛
  • 解决平坦区域

• Dropout

  • 避免过学习
  • 使得网络简单

循环神经网络RNN（天然语言处理的方法）

1. 使用jieba分词。将句子分红一个个词语

   • 做用：

2. 对每一个分词进行编码(1-of-N 编码)：除了词语对应字典的位置为1，其他位置所有为0

3. 隐含层的输出被存入记忆单元（当作额外的输入）