神经元及线性神经网络

神经元

仿造人类的神经结构，从其它神经元细胞传递过来的信号，经过权重系数的相乘，形成传递信息。
求和之后，经过非线性函数，也输出0或者1。因为其他神经元传递进来的也是0或者1。

激活函数：就是把求和映射到0或者1的函数。

单层感知机的局限性：
单层感知既可以处理分类问题，但是首先要求数据及是线性可分的。这就是最大的不好泛化的一点。
单层感知机不能处理异或情况，因为异或线性不可分。

性能评估函数的种类：

SSE就是MAS乘以3咯。

各种激活函数：
激活函数就是莫凡人类的神经元输出信号值。

各种区别就是注意一下单极性和双极性：

多层深度神经网络需要可微的激活函数

注意RELU，在胜读网络里面很受欢迎，因为斜率是1，误差信号向后传播不会衰减。

梯度方向：函数增长最快的方向
负梯度方向：函数减少下降最快的方向

梯度负责方向，学习率负责步长

梯度下降法的一些缺点：
有可能陷入局部最小点出不来
也有可能设置的学习率太大或者小正当迭代很多次

线性神经网络结构