深度学习入门笔记（二）————线性神经网络，delta学习规则，梯度下降法

一 线性神经网络  与感知器的区别，感知器激活函数的输出只有两种可能(1,-1)，线性神经网络的输出可取任意值，其激活函数是线性函数。线性神经网络采用LMS算法来调整网络的权值和偏置。 线性神经网络在结构上与感知器相似，但神经元激活函数不同。在模型训练时把sign函数改为purelin函数(y=x)。 二    LMS学习规则  LMS使神经元实际输出与期望输出之间的平方差最小  学习信号：  y

>>阅读原文<<