Python深度学习读书笔记-4.神经网络入门

神经网络剖析

 

训练神经网络主要围绕如下四个方面:

• 层，多个层组合成网络（或模型）
• 输入数据和相应的目标
• 损失函数，即用于学习的反馈信号
• 优化器，决定学习过程如何进行

 

如图 3-1 所示：多个层连接在一块儿组成了网络，将输入数

据映射为预测值。而后损失函数将这些预测值与目标进行比较，获得损失值，用于衡量网络预

测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。

 

 

层：深度学习的基础组件

层是一个数据处理模块，将一个或多个输入张量转换为一个或多个输出张量。

有些层是无状态的，但大多数的层是有状态的，即层的权重。

权重是利用随机梯度降低学到的一个或多个张量，其中包含网络的知识。

 

不一样的张量格式与不一样的数据处理类型须要用到不一样的层。

1. 简单的向量数据保存在形状为 (samples, features) 的 2D 张量中，一般用密集链接层［ 也
   

叫全链接层或密集层，对应于 Keras 的 Dense 类］来处理。

2. 序列数据保存在形状为 (samples, timesteps, features) 的 3D 张量中，一般用循环
   

层（ recurrent layer，好比 Keras 的 LSTM 层）来处理。

3. 图像数据保存在 4D 张量中，一般用二维卷积层（ Keras 的 Conv2D）来处理。
   

 

模型：层构成的网络

深度学习模型是层构成的有向无环图。

常见的网络拓扑结构：

1.线性堆叠

2.双分支（ two-branch）网络

3.多头（ multihead）网络

4.Inception 模块

 

损失函数（ 目标函数）

在训练过程当中须要将其最小化。它可以衡量当前任务是否已成功完成。

 

优化器

决定如何基于损失函数对网络进行更新。它执行的是随机梯度降低（ SGD）

的某个变体。

 

如何选择损失函数

• 对于二分类问题，你能够使用二元交叉熵（ binary crossentropy）损失函数；
• 对于多分类问题，能够用分类交叉熵（ categorical crossentropy）损失函数；
• 对于回归问题，能够用均方偏差（ mean-squared error）损失函数；
• 对于序列学习问题，能够用联结主义时序分类（ CTC， connectionist temporal classification）损失函数，