【模式识别】学习笔记(2)>>>【判别函数】

判别函数在模式识别系统的主要做用就是判别各个模式所属的类别。

以下直线描述的判别函数即将模式分为两类。

获取判别函数：

        1-先肯定判别函数形式，线性仍是非线性、直线曲线折线等；

        2-肯定函数系数，经过可分类的模式样原本肯定。

线性判别函数：

        在线性判别函数求取中，两类的判别函数当然好求，对于多类的求法咱们有如下两种方法：

Mi/非Mi二分法：

        以Mi类与其余M-1类分开为依据求取判别函数，共需M个判别函数。

Mi/Mj二分法：

        以将Mi于Mj两两分开为依据求取判别函数，共需M*(M-1)/2个判别函数。

        显然，这两种分法都会产生不肯定区域（IR），就是切下来的蛋糕没有人吃了，这让咱们很惆怅啊。

那么对于这种状况，咱们将第二种分法进行改进：

        分解因式dij(x) = di(x) - dj(x) = (wi – wj)Tx，

        则dij(x)>0至关于di(x)>dj(x)，任意j!=i，这时不存在不肯定区域。

        相对于第二种方法，咱们将判别函数的交点都放到一个点上：

如此一来，把M类状况分红M-1个两类问题，共有M个判别函数。

做业：

 

个人解答（不知道对不对）：

        网上搜到一份答案：http://www.docin.com/p-119036970.html

        法一：

        法二：

 

        法三：

 

广义线性判别函数：

基本思想：

        对于线性不可分的状况，寻求一种将其转化为线性可分的状况以求取判别函数。

        相对于原模式集x，寻求这样的x*:x*中各模式份量是x的单值实函数，且其维数k高于x的维数n,也就是：

        x*=(f1(x),f2(x),...,fk(x)),k>n，且x*线性可分，即有：

        d(x*) = wTx*，其中w = (w1, w2, …, wk, wk+1)T

        该式代表，非线性判别函数已被变换成广义线性，所以只讨论线性判别函数不会失去通常性意义，因此人能够经过相似线性方法肯定判别函数。

当x是二维的状况:

        即x=(x1 x2) T。若原判别函数为：

        要线性化为d(x*) = wTx*，须定义：

        此时，只要把模式空间x*中的份量定义成x的单值实函数，x*即变成线性可分。此时x*的维数（这里为6）大于x的维数（这里为2）。

当x是n维的状况：

        此时原判别函数设为：

        式中各项的组成应包含x的各个份量的二次项、一次项和常数项，其中平方项n个，二次项n(n-1)/2个，一次项n个，常数项一个，其总项数为：

        n + n(n-1)/2 + n + 1 = (n+1)(n+2)/2 > n

你很容易注意到，以上的模式份量最高次都是2次，那么问题又来了，对于屡次的模式份量又是什么样的呢？

当x为n维，其判别函数为r次多项式：

小结：

显然，d(x)的项数随r和n的增长会迅速增大，即便原来模式x的维数不高，若采用次数r较高的多项式来变换，也会使变换后的模式x*的维数很高，给分类带来很大困难。
实际状况可只取r=2，或只选多项式的一部分，例如r=2时只取二次项，略去一次项，以减小x*的维数。

触类旁通：

        当咱们的分类状况是这样时：

                    类1：x<=2 ||  (x>5 && x<=18)

                    类2：(x>2 && x<=5) || x>18

        那么，在一维的坐标轴中咱们很难将这两类用一条直线/一个点将其分开，这个时候咱们考察函数式：

y=(x+2)(x-5)(x-18);

即：d(x)=y=x^3-21*x^2+44*x+180;

        这是一个1维3次项状况，令x1=f1(x)=x^3，x2=f2(x)=x^2，x3=f3(x)=x，

那么x*=(x1 x2 x3 1) T，wT=(1 -21 44 180)，

        这样子就经过变换函数系将问题升维转化为三维线性判别函数问题进行求解，也就是经过函数y=(x+2)(x-5)(x-18)的符号便可分类，这符合判别函数d(x)的特色。

分类描述：

讲了一大通的判别函数，相信您必定是饥渴难耐跃跃欲试了吧，那么判别函数怎么用呢。

设有判别函数：d(x)=wTx

那么其判别界面为：wTx=0

对两类问题，ω1类有模式{x1 x2}，ω2类有模式{x3 x4} 

则应知足以下条件：

wTx1>0，wTx2>0，wTx3<0，wTx4<0

所以，若权向量能知足上述四个条件，则wTx=0为所给模式集的判别界面。