神经网络_线性神经网络 1 (Nerual Network_Linear Nerual Network 1)

2019-04-08 16:59:23

1 学习规则(Learning Rule)

 1.1 赫布学习规则(Hebb Learning Rule)

       1949年，Hebb提出了关于神经网络学习机理的“突触修正”的假设：当神经元的前膜电位、后膜电位同时为正时，突触传导增强；电位相反时，突触传导减弱。根据次假设定义权值ω的调整方法，称该方法为Hebb学习规则。

 Hebb学习规则中，学习信号等于神经元的输出：

r=f(W^T_j*X)

权值向量W调整公式：

ΔW=η*f(W^T_j*X)*X

权值向量W的分向量Δω_ij调整公式：

Δω_j=η*f(W^T_j*X)*x_j，j=0,1,2,…,n

为保证Hebb learning rule 的学习效率，对权值设置饱和值。

for examle:

1 参数设置

输入：X¹=[1,-2,1.5]^T、X¹=[1,-0.5,-2]^T、X¹=[0,-1,-1]^T，学习率 η=1，初始化权值W₀=[0 0 0]^T，传递函数使用hardlim。

2 计算步骤(即权值调整过程)

权值W₁=W₀+hardlim(W₀^T*X¹)*X¹=[1 -2 1.5]；

权值W₂=W₁+hardlim(W₁^T*X²)*X²=[1 -2 1.5]；

 权值W₃=W₂+hardlim(W₂^T*X³)*X³=[1 -3 0.5]；

 

1.2 感知器学习规则(Perceptron Leaning Rule)

 1 感知器的学习规则

r=d_j-o_j

式中，d_j为指望输出，o_j=f(W_j^T*X)

 感知器采用符号函数做为转移函数，则

f(W_j^T*X)=sgn(W_j^T*X)={1，W_j^T*X≥0；0，W_j^T*X<0}

由上式得权值调整公式

ΔW_j=η*[d_j-sgn(W_j^T*X)]*X

Δω_j=η*[d_j-sgn(W_j^T*X)]*x_j

2 Hebb learning principle 和 Perceptron learning principle的不一样之处

Hebb learning principle 采用输出结果做为权值调整的组成部分，Perceptron learning principle 采用偏差做为权值调整的组成部分。

1.3 最小均方差学习规则(Least Mean Square Error Leaning Rule)

1.3.1 LMS学习规则特色

感知器学习规则训练的网络，其分类的判决边界每每距离各分类模式靠的比较近，这使得网络对噪声比较敏感；

LMS Learing Rule是均方偏差最小，进而使得判决边界尽量远离分类模式，加强了网络的抗噪声能力。

但LMS算法仅仅适用于单层的网络训练，当须要设计多层网络时，须要寻找新的学习算法，for example,Back Progation Nerual Network Algorithm。

       1962年，Bernard Widrow 和 Marcian Hoff 提出Widrow-Hoff Learning Princple，该方法的特色是使实际神经元输出与指望输出之间的平方差最小，所以又称为Least Mean Square Erorr Princple。

LMS调整规则应用较为普遍：

1 信号处理

2 BP算法的引领者

1.3.2 LMS学习规则计算

LMS的学习信号

r=t_j-W_j^T*X

权值调整量

ΔW_j=η*(t_j-W_j^T*X)*X

权值份量调整

Δω_j=η*(t_j-W_j^T*X)*x_j，j=0,1,2,...,n

t_j表示指望输出，W_j^T*X表示实际输出

1.3.2 MSE学习规则

均方差(MSE)，是预测数据与原始数据的偏差平方的和的均值

MSE=(∑(t_i-a_i)²)/n，其中i=1,2,...,n

Matlab中存在该函数，能够直接调用，e=[1 2 3]，perf=mse(e)=(1²+2²+3²)/n=4.66666667。

 

2 线性神经网络

2.1线性神经网路结构

1 参数设置

神经网络结构函数 Purelin