RBF 径向基函数神经网络

引言:径向基函数(RBF,Radial Basis Function)神经网络,是由 J.Moody 和 C.Darken 于 20 世纪 80 年代末提出的一种神经网络,径向基函数方法在某种程度上利用了多维空间中传统的严格插值法的研究成果。算法


在神经网络的背景下,隐藏单元提供一个“函数”集,该函数集在输入模式向量扩展至隐层空间时为其构建了一个任意的“基”;这个函数集中的函数就被称为径向基函数。径向基函数首先是在实多变量插值问题的解中引入的。径向基函数是目前数值分析研究中的一个主要领域之一。微信


1 RBF 结构及工做原理网络


1.1 径向基函数神经网络结构函数


最基本的径向基函数( RBF)神经网络的构成包括三层,其中每一层都有着彻底不一样的做用。输入层由一些感知单元组成,它们将网络与外界环境链接起来;第二层是网络中仅有的一个隐层,它的做用是从输入空间到隐层空间之间进行非线性变换,在大多数状况下,隐层空间有较高的维数;输出层是线性的,它为做用于输入层的激活模式提供响应。学习


基本的径向基函数 RBF 网络是具备单稳层的三层前馈网络,结构以下图。因为它模拟了人脑中局部调整、相互覆盖接受域(或称感觉域, Receptive Field)的神经网络结构,所以, RBF网络是一种局部逼近网络,现已证实它能以任意精度逼近任一连续函数。优化




1.2 RBF 网络输出计算人工智能


设输入 n 维向量 X ,输出 m 维向量Y ,输入/输出样本对长度为 L ,则 RBF 网络隐层第i 个节点的输出为:spa



 X : n 维输入向量; ci :第i 个隐节点的中心, i =1,2,…, h 。||•|| :一般为欧氏范数; R ()为 RBF 函数,具备局部感觉的特性。它有多种形式,体现了 RBF 网络的非线性映射能力。.net


网络输出层第 k 个节点的输出为隐节点输出的线性组合:blog




 wki : qi → yk 的链接权; θ k :第 k 个输出节点的阀值。


2 RBF 学习算法


2.1 RBF 网络的常规学习算法


设有 p 组输入/输出样本 xp/ dp , p =1,2,…, L,定义目标函数:



学习的目的是使 J ≤ε ;y p 是在 x p 输入下网络的输出向量。 RBF 网络的学习算法通常包括两个不一样的阶段:


隐层径向基函数的中心的肯定阶段。常见方法有随机选取固定中心法;中心的自组织选择法等。


径向基函数权值学习调整阶段。常见方法有中心的监督选择法;正则化严格插值法等。


此处介绍中心的自组织选择法和中心的监督选择法两种算法。


1.中心的自组织选择法


它是一种无导师学习也称为非监督学习,是对全部样本的输入进行聚类,求得各隐层节点的 RBF的中心 ci 。这里介绍经常使用 k -均值聚类算法,算法部骤以下:


①初始化:给定各隐节点的初始中心 ci (0)。


②类似匹配:计算距离(欧氏空间)并求出最小距离的节点:




③调整中心:



 β 是学习速率, 0< β <1。


④继续:将t 值加 1,回到第二步,重复上述过程,直到中心cr 的改变量很小时为止。


2.中心的监督选择法


它是一种有导师学习也称为监督学习算法。径向基函数的中心以及网络的全部其余参数都将经历一个监督学习的过程。换句话说, RBF 网络将采用最通常的方式,这个方法的天然后选是采用偏差修正学习过程,它能够很方便地使用梯度降低法。当 ci 肯定后,训练由隐层至输出层之间权值,它是一个线性方程组,则求权值就成为线性优化问题,如 LMS 算法、最小二乘递推法等求得。


①LMS 算法:


LMS 算法,对于 RBF 网络,权值调整算法为:



 α 是常值,0<α <2。当 J(t) ≤ε 时,算法结束。


②最小二乘递推法( RLS)


为简单起见,讨论单输出的状况。


定义目标函数:




 Λ p() 是加权因子。若第 p 个样本比第 p-k(p>k,K>1) 个可靠,则加权因子
要大,可取:



L 是样本长度。


使 J 值最小的W 即为所求,所以,由



可得最小二乘递推算法( RLS):





本文分享自微信公众号 - AI MOOC人工智能平台(AIMOOC_XLAB)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。

相关文章
相关标签/搜索