贝叶斯学习--极大后验假设学习

贝叶斯学习--极大后验假设学习

标签： 数据挖掘贝叶斯学习极大后验假设

2014-04-03 17:13 978人阅读 评论(0) 收藏 举报

 分类：

贝叶斯学习（3）  数据挖掘（23） 

版权声明：本文为博主原创文章，未经博主容许不得转载。

咱们假定学习器考虑的是定义在实例空间X上的有限的假设空间H，任务是学习某个目标概念c:X→{0,1}。如一般那样，假定给予学习器某训练样例序列〈〈x1，d1，〉…〈xm，dm〉〉，其中xi为X中的某实例，di为xi的目标函数值（即di=c(xi)）。为简化讨论，假定实例序列〈x1…xm〉是固定不变的，所以训练数据D可被简单地写做目标函数值序列：D=〈d1…dm〉。

基于贝叶斯理论咱们能够设计一个简单的算法输出最大后验假设

Brute-ForceMAP学习算法

1．对于H中每一个假设h，计算后验几率：

 

2．输出有最高后验几率的假设hMAP：

 

此算法须要较大的计算量，由于它对H中每一个假设都应用了贝叶斯公式以计算P(h|D)。

虽然对于大的假设空间这很不切实际，但该算法仍然值得关注，由于它提供了一个标准，以判断其余概念学习算法的性能。

下面为Brute-ForceMAP学习算法指定一学习问题，咱们必须肯定P(h)和P(D|h)分别应取何值（能够看出，P(D)的值会依这二者而定）。

咱们能够以任意方法选择P(h)和P(D|h)的几率分布，以描述该学习任务的先验知识。可是先要知足下面的条件假设：

1．训练数据D是无噪声的（即di=c(xi)）；

2．目标概念c包含在假设空间H中；

3．没有任何理由认为某假设比其余的假设的可能性大。

1、如何肯定P(h)的值

 对H中任一h：

               

2、如何选择P(D|h)的值

 

换言之，给定假设h，数据D的几率在其与假设h一致时值为1，不然值为0。

 

接下来考虑该算法的第一步，使用贝叶斯公式计算每一个假设h的后验几率P(h|D)：

一、考虑h与训练数据D不一致的情形

二、考虑h与D一致的状况

其中：

 

VSH,D是H中与D一致的假设子集（即VSH,D是相对于D的变型空间）

概而言之，贝叶斯公式说明在咱们的P(h)和P(D|h)的定义下，后验几率P(h|D)为：

其中|VSH,D|是H中与D一致的假设数量。

 

在咱们选定的P(h)和P(D|h)取值下，每一个一致的假设后验几率为（1/|VSH,D|），每一个不一致假设后验几率为0。所以，每一个一致的假设都是MAP假设。