VC维含义

VC维含义的我的理解

　　有关于VC维能够在不少机器学习的理论中见到，它是一个重要的概念。在读《神经网络原理》的时候对一个实例不是很明白，经过这段时间观看斯坦福的机器学习公开课及相关补充材料，又参考了一些网络上的资料（主要是这篇，不过我的感受仍然没有抓住重点），从新思考了一下，终于理解了这个定义所要传达的思想。

　　先要介绍分散(shatter)的概念：对于一个给定集合S={x1, ... ,xd}，若是一个假设类H可以实现集合S中全部元素的任意一种标记方式，则称H可以分散S。

　　这样以后才有VC维的定义：H的VC维表示为VC(H) ，指可以被H分散的最大集合的大小。若H能分散任意大小的集合，那么VC(H)为无穷大。在《神经网络原理》中有另外一种记号：对于二分整体F，其VC维写做VCdim(F)。

　　一般定义以后，会用二维线性分类器举例说明为何其VC维是3，而不能分散4个样本的集合，这里也就是容易产生困惑的地方。下面进行解释。

　　对于三个样本点的状况，下面的S1全部的标记方式是可使用线性分类器进行分类的，所以其VC维至少为3（图片来自于斯坦福机器学习公开课的materials,cs229-notes4.pdf）：

　　　　

　　虽然存在下面这种状况的S2，其中一种标记方式没法用线性分类器分类（图片来自于斯坦福机器学习公开课的materials,cs229-notes4.pdf）

　　　　　　　　　　

　　但这种状况并不影响，这是由于，上一种的S1中，咱们的H={二维线性分类器}能够实现其全部可能标签状况的分类，这和S2不能用H分散无关。

　　而对于4个样本点的状况，咱们的H不能实现其全部可能标签状况的分类（这是通过证实的，过程不详）以下图中某个S和其中一种标签分配状况：

　　

　　　　　　　　

　　可见，H={二维线性分类器}的VC维是3。

　　从这个解释过程能够看出，对于VC维定义理解的前提是先理解分散的定义。分散中的集合S是事先选定的，而VC维是能分散集合中基数（即这里的样本数）最大的。所以，当VC(H)=3时，也可能存在S'，|S'|=3但不能被H分散；而对于任意事先给定的S"，|S"|=4，H不能对其全部可能的标签分配方式进行分散。这里所谓“事先给定”能够看做其点在平面上位置已定，但所属类别未定（便可能是任意一种标签分配）。

做者：五岳
出处：http://www.cnblogs.com/wuyuegb2312 对于标题未标注为“转载”的文章均为原创，其版权归做者全部，欢迎转载，但未经做者赞成必须保留此段声明，且在文章页面明显位置给出原文链接，不然保留追究法律责任的权利。