Random/Stochastic

---恢复内容开始---

=====================================================

 

A random variable's possible values might represent the possible outcomes of a yet-to-be-performed experiment,

　　　　　　　　　　　　　　　　　　　　　　　　　 or the possible outcomes of a past experiment whose already-existing value is uncertain

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　(for example, due to imprecise measurements or quantum uncertainty). 

 

They may also conceptually represent either the results of an "objectively" random process (such as rolling a die),

　　　　　　　　　　　　　　　　　　　　　　　　　　　　or the "subjective" randomness that results from incomplete knowledge of a quantity. 

 

The meaning of the probabilities assigned to the potential values of a random variable is not part of probability theory itself,

　　　　　　　　　　　　　　　　　　　　　　　　　　　　 but is instead related to philosophical arguments over the interpretation of probability.

 

The mathematics works the same regardless of the particular interpretation in use !!!

 

简单地说，频率学派与贝叶斯学派探讨「不肯定性」这件事时的出发点与立足点不一样。频率学派从「天然」角度出发，试图直接为「事件」自己建模，即事件A在独立重复试验中发生的频率趋于极限p，那么这个极限就是该事件的几率。举例而言，想要计算抛掷一枚硬币时正面朝上的几率，咱们须要不断地抛掷硬币，当抛掷次数趋向无穷时正面朝上的频率即为正面朝上的几率。

然而，贝叶斯学派并不从试图刻画「事件」自己，而从「观察者」角度出发。贝叶斯学派并不试图说「事件自己是随机的」，或者「世界的本体带有某种随机性」，这套理论根本不言说关于「世界本体」的东西，而只是从「观察者知识不完备」这一出发点开始，构造一套在贝叶斯几率论的框架下能够对不肯定知识作出推断的方法。频率学派下说的「随机事件」在贝叶斯学派看来，并非「事件自己具备某种客观的随机性」，而是「观察者不知道事件的结果」而已，只是「观察者」知识状态中还没有包含这一事件的结果。可是在这种状况下，观察者又试图经过已经观察到的「证据」来推断这一事件的结果，所以只能靠猜。贝叶斯几率论就想构建一套比较完备的框架用来描述最能服务于理性推断这一目的的「猜的过程」。所以，在贝叶斯框架下，同一件事情对于知情者而言就是「肯定事件」，对于不知情者而言就是「随机事件」，随机性并不源于事件自己是否发生，而只是描述观察者对该事件的知识状态。

总的来讲，贝叶斯几率论为人的知识（knowledge）建模来定义「几率」这个概念。频率学派试图描述的是「事物本体」，而贝叶斯学派试图描述的是观察者知识状态在新的观测发生后如何更新。为了描述这种更新过程，贝叶斯几率论假设观察者对某事件处于某个知识状态中（例如：小明先验地相信一枚硬币是均匀的，多是出于认为均匀硬币最多见这种信念），以后观察者开始新的观测或实验（小明开始不断地抛硬币，发现抛了100次后，竟然只有20次是正面朝上）。通过中间的独立重复试验，观察者得到了一些新的观测结果，这些新的观测将以含有不肯定性的逻辑推断的方式影响观察者原有的信念（小明开始怀疑这枚硬币到底是不是均匀的，甚至开始判定硬币并不均匀）。在这一过程当中，观察者没法用简单的逻辑来推断，由于观察者并无彻底的信息做为证据，所以只能采用似真推断（plausible reasoning），对于各类各样可能的结果赋予一个「合理性」（plausibility）。例子中，小明原先认为硬币的分布是均匀的，因而根据小明原有的信念，这个论断合理性很是高；在观察到100次抛掷中只有20次正面朝上后，小明开始怀疑硬币的均匀性，此时小明极可能认为「硬币不均匀」这一推断的合理性很高，支持的证据就是他刚刚实验的观测结果。

上面的例子用贝叶斯几率论的语言来描述，就是观察者持有某个前置信念（prior
belief），经过观测得到统计证据（evidence），经过知足必定条件的逻辑一致推断得出的关于该陈述的「合理性」，从而得出后置信念（posterior belief）来最好的表征观测后的知识状态（state of knowledge）。这里，贝叶斯几率推断所试图解决的核心问题就是如何构建一个知足必定条件的逻辑体系赋予特定论断一个实数所表征的论断合理性的度量（measure of plausibility），从而能够容许观测者在不彻底信息的状态下进行推断。这里，观察者对某变量的信念或知识状态就是频率学派所说的「几率分布」，也就是说，观察者的知识状态就是对被观察变量取各类值所赋予的「合理性」的分布。

从这个意义上来说，贝叶斯几率论试图构建的是知识状态的表征，而不是客观世界的表征。所以，在机器学习、统计推断中，许多状况下贝叶斯几率推断更能解决观察者推断的问题，而绕开了关于事件本体的讨论，由于没有讨论本体的必要性。

参考：《几率论沉思录》

贝叶斯几率仍然只是一个实数，而几率分布是推断者根据本身的知识状态赋予参数在某集合内取各个值的可信度，所以几率分布表征了推断者的知识状态。

=====================================================

 

第一名答案的例子其实并不对。贝叶斯学派和频率学派的最大区别并不在于信息的利用和整合上。虽然贝叶斯方法能够用先验分布来引入以往的信息，可是频率学派也有方法来整合各类domain knowledge，好比在最优化likelihood的时候加入各类constrain。以麻将为例，频率学派的人一样能够把每一个人的信息加入的模型中进而找出最有策略，这也是“统计决策”（Statistical decision theory）领域里早期大牛们的作法（虽然他们的定理证实了全部可能的决策选择中最佳的决策就是贝叶斯后验的Mode）。从这个意义上来讲二者其实差异并不大。

频率学派和贝叶斯学派最大的差异其实产生于对参数空间的认知上。所谓参数空间，就是你关心的那个参数可能的取值范围。频率学派（其实就是当年的Fisher）并不关心参数空间的全部细节，他们相信数据都是在这个空间里的”某个“参数值下产生的（虽然你不知道那个值是啥），因此他们的方法论一开始就是从“哪一个值最有多是真实值”这个角度出发的。因而就有了最大似然（maximum likelihood）以及置信区间（confidence interval）这样的东西，你从名字就能够看出来他们关心的就是我有多大把握去圈出那个惟一的真实参数。而贝叶斯学派偏偏相反，他们关心参数空间里的每个值，由于他们以为咱们又没有上帝视角，怎么可能知道哪一个值是真的呢？因此参数空间里的每一个值都有多是真实模型使用的值，区别只是几率不一样而已。因而他们才会引入先验分布（prior distribution）和后验分布（posterior distribution）这样的概念来设法找出参数空间上的每一个值的几率。最好诠释这种差异的例子就是想象若是你的后验分布是双峰的，频率学派的方法会去选这两个峰当中较高的那一个对应的值做为他们的最好猜想，而贝叶斯学派则会同时报告这两个值，并给出对应的几率。

若是从几率的角度看，贝叶斯学派的想法其实更为天然，这也是为何贝叶斯学派的产生远早于频率学派（去年是贝叶斯250周年）。可是贝叶斯方法自己有不少问题，好比当先验选的很差或者模型很差的时候你后验分布的具体形式可能都写不出来，跟别说作统计推断了。在当年电子计算机还没发展出来的时候，对这些状况作分析几乎是不可能的，这也就大大限制了贝叶斯方法的发展。而频率学派主要使用最优化的方法，在不少时候处理起来要方便不少。因此在频率学派产生后就快速地占领了整个统计领域。直到上世纪90年代依靠电子计算机的迅速发展，以及抽样算法的进步（Metropolis-hastings, Gibbs sampling）使得对于任何模型任何先验分布均可以有效地求出后验分布，贝叶斯学派才从新回到人们的视线当中。就如今而言，贝叶斯学派日益受到重视固然是有诸多缘由的，因此这并不意味这频率学派就很差或者不对。两个学派除了在参数空间的认知上有区别之外，方法论上都是互相借鉴也能够相互转化的。当代学术领域批评的最多的仅仅是频率学派里的Hypothesis testing的问题，尤为是对于p-value的误用形成了不少问题，最近有一个心理学杂志BASP也已经禁用了Hypothesis testing （ Psychology journal bans P values : Nature News & Comment）。 不过这只是Hypothesis testing这种研究方法自己的问题（testing是Fisher本身脑补出来的方法，confidence interval是Neyman提出来相对应的方法）。对应于Hypothesis testing，贝叶斯学派有本身的一套方法称为 Bayes factor。虽然Bayes factor自己比p-value要合理不少（我的看法），可是我并不以为单靠Bayes factor的方法就能够有效解决当下p-value滥用致使的问题，由于Bayes factor一样能够致使 Multiple comparisons problem。

做者：Xiangyu Wang
连接：https://www.zhihu.com/question/20587681/answer/41436978
来源：知乎
著做权归做者全部。商业转载请联系做者得到受权，非商业转载请注明出处。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---恢复内容结束---