神经网络概念

可以把神经网络看作复合函数。你输入一些数据，它会输出一些数据。适用于有大量数据，能容忍一定误差，不能用一些规则简单归纳的问题。

拓扑结构是指网络中各个站点相互连接的形式，在局域网中明确一点讲就是文件服务器、工作站和电缆等的连接形式。现在最主要的拓扑结构有总线型拓扑、星形拓扑、环形拓扑、树形拓扑（由总线型演变而来）以及它们的混合型。顾名思义，总线型其实就是将文件服务器和工作站都连在称为总线的一条公共电缆上，且总线两端必须有终结器；星形拓扑则是以一台设备作为中央连接点，各工作站都与它直接相连形成星型；而环形拓扑就是将所有站点彼此串行连接，像链子一样构成一个环形回路；把这三种最基本的拓扑结构混合起来运用自然就是混合型。

神经网络拓扑结构：

层
这是神经网络在任何问题中都可获得复杂度的原因。增加层（具备单元）可增加神经网络输出的非线性。
每个层都包含一定数量的单元。大多数情况下单元的数量完全取决于创建者。但是，对于一个简单的任务而言，层数过多会增加不必要的复杂性，且在大多数情况下会降低其准确率。反之亦然。

每个神经网络有两层：输入层和输出层。二者之间的层称为隐藏层。下图所示的神经网络包含一个输入层（8 个单元）、一个输出层（4 个单元）和 3 个隐藏层（每层包含 9 个单元）。
常见的激活函数：
https://blog.csdn.net/u011684265/article/details/78039280
Sigmoid

Tanh

ReLU：修正线性单元

Leaky ReLU

分类问题是要预测类别，回归问题是要预测值

二元分类(binary classification)，是机器学习里比较早就应用的学习模型，比较著名的应用就是垃圾邮件分类识别。 二元分类一般分为正例(positive)和反例(negative)。其他还有医疗诊断和信用卡欺诈识别。分出垃圾邮件和特殊疾病的类都是正例类别(positive class)。一个简单的分类方法就是训练集上，做出一个特征树，把每个特征树的叶子上各个类别的数量标出来，选择大多数的类别，作为这个叶子的类别。这样特征树就变成了决策树。

如上图一所示，找出一批邮件，作为训练集，垃圾邮件有20封 出现保险字样，正常邮件有5封出现保险字样，在没有保险字样的邮件里，出现彩票字样的垃圾邮件有10封，正常邮件有5封。没有出现保险和彩票字样的邮件，垃圾邮件有20封，正常邮件有40封。所以每个叶子节点，取大多数类别的值 画圈所示，就得到了一棵决策树。也可以用其他方法得到各种情况的概率大小，取概率的的类别作为最后的类别。这样，我们就可以用这个决策树去判断测试集，得到测试集的数据分类。比如我们拿一些未知的邮件，这些邮件就是测试集，去按照这个决策树的条件去判断每一封测试集的邮件，最后得出每个邮件是不是垃圾邮件。

二元分类模型不止是决策树，还有线性模型等等，都可以把现有数据分成两类。了解了二元分类的过程，我们可以扩展到多元分类(multi-class classification)，顾名思义就是分类不止是两类，而是多类。如果你有一个二元分类模型，比如线性模型，有很多方法可以把他们变成K 类分类器。一对多模式(one-versus-rest) ,训练K 个二元分类器，第一份分类器，把类一 C1 从其他类里分出来，第二个分类器把类二 C2 从其他类里分出来，如此继续。当我们训练第i 类时，我们把第i类 Ci的所有实例，当作正例，其他类都是反例。比方说，分第一类时，只把第一类作为正例，其他作为反例，找到第一类。还有一对一模式(one-versus-one), 在这种模式下，训练k(k-1)/2个二元分类器，每对不同的类只训练一次

线性回归模型、损失函数
https://blog.csdn.net/sinat_20623345/article/details/78879379
梯度下降算法：
http://www.javashuo.com/article/p-gmvyopjf-ou.html
反向传播算法：
https://www.jianshu.com/p/964345dddb70

前馈网络，又称前馈神经网络（feedforward neural network），是人工神经网络的一种。在该类神经网络中，各神经元从输入层开始，接收前一级输入，并输出到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示。
前馈网络采用一种单向多层结构。其中每一层包含若干个神经元，同一层的神经元之间没有互相连接，层间信息的传送只沿一个方向进行。其中，第一层称为输入层；最后一层为输出层；中间为隐含层，简称隐层，隐层可以是一层，也可以是多层。
全微分：
https://www.matongxue.com/madocs/218.html 函数z=f(x, y) 的两个偏导数f’x(x, y), f’y(x, y)分别与自变量的增量△x, △y乘积之和 　　f’x(x, y)△x + f’y(x, y)△y 　　若该表达式与函数的全增量△z之差, 　　当ρ→0时,是ρ( ) 　　的高阶无穷小, 　　那么该表达式称为函数z=f(x, y) 在(x, y)处(关于△x, △y)的全微分. 　　记作：dz=f’x(x, y)△x + f’y(x, y)△y