PAC学习框架

PAC学习框架是机器学习的基础。它主要用来回答如下几个问题：

1. 什么问题是能够高效学习的？
2. 什么问题本质上就难以学习？
3. 须要多少实例才能完成学习？
4. 是否存在一个通用的学习模型？

PAC=probably approximately correct，极可能接近正确的

---------------------

什么问题能获得“可能接近正确”的结果呢？原文说的比较抽象，我把他翻译下：

说一个问题是PAC可学习的，须要定义m个sample组成S空间，其中每一个sample服从D分布，而且互相独立；

若是存在一个算法A，在m（sample个数）有限的状况下，找到假设h；

使得对于任意两个数x，y，几率P(h对S中sample预测错误次数大于x) < y；

xy对应 中两个奇怪的符号！注意上面说的是小于，截图中说的是相反事件的大于。实际上是一回事。

那么该问题是PAC可学习的。

----

举个例子，在二维平面上去学习一个矩阵：

目标是找到R，R内部的点是蓝色的，外部的点是红色的。

为了证实上面的问题是PAC可学习的，咱们须要找到一个算法A，而且证实只须要m个实例，就能够是的几率等式成立。

首先肯定算法：

这个算法很简单，就是全部蓝色的点的最小矩形R。那么这个R能不能知足上面的几率等式呢？假设给定x和y。若是错误个数大于x的几率小于y，须要什么条件呢？

很差回答，所以咱们须要作一个转换：

咱们先沿着R的4条边，向内部扩展，画出4个小矩形：r1,2,3,4。每一个r的几率x/4。

若是R’的错误个数大于x，那么R’必然与r1,2,3,4中的至少一个有交集。（不然错误个数一定小于x）

所以有不等式：

因为并集的几率小于各自几率的和：

因为S中的每一个sample的独立分布的，而且落在r1中的几率为x/4，因此

因为咱们要求错误个数大于x的几率小于y，因此能够定义以下的不等式。

推导出m的下限。

这就说明只须要有限个实例就能知足上面的几率不等式。

------------------------------------------------

这就说明了，上面这个平面图形中学习矩形的问题是PAC可学习的。