贝叶斯竟然用事件几率,就轻松预知了将来?



640?wx_fmt=gif

转自:超级数学建模|supermodeling网络


1969年,J. 理查德·戈特三世在普林斯顿攻读天体物理博士学位以前,他去欧洲旅行了一趟。他看见了柏林墙,那是8年前建成的。并发


站在墙的影子下,这仿佛是冷战的一个鲜明象征,他开始思索这墙会将东德和西德地区继续分割多久。
学习


640?wx_fmt=png从表面上看,试图作出这种预测有些荒谬。即便撇开地缘政治的不可预测性不说,这个问题仅在数学上彷佛就很好笑:由于它试图从一个单一数据点进行预测大数据


640?wx_fmt=jpeg

柏林墙spa


可是,尽管这看起来很好笑,但咱们老是会根据须要作出这样的预测。你到了一个外国城市的公共车站,也许其余游客已经站在那里等了7分钟。事件


640?wx_fmt=png下一班车何时到?继续等待是否值得?若是是这样的话,在放弃以前你应该再那等多久?ci


或者你的一个朋友已经和某人约会了一个月,但愿获得你的建议:邀请他们一块儿参加即将到来的人的婚礼是否太早?这种关系已经有了一个良好的开端,可是何时开始制订计划比较合适呢?
数学


谷歌的研究部主任彼得·诺维德(Peter novid)曾进行过一次题为“数据的不合理有效性”的著名演讲,该演讲深究了“数十亿琐碎的数据点最终如何能被理解”。class


640?wx_fmt=png媒体不断告诉咱们,咱们生活在一个“大数据时代”,计算机能够筛选这数十亿的数据点,并发现一些肉眼看不到的细节基础


640?wx_fmt=jpeg


但跟平常生活联系最密切的问题每每是另外一种极端。咱们的生活充满“小数据”,咱们就像看到柏林墙的戈特同样,也就是经过一个单一的观察,作一个推论。

那么咱们通常怎么作呢?咱们又应该怎样作?


640?wx_fmt=png故事发生在18 世纪的英国,那时,有一个研究领域对伟大的数学思想家来讲是不可抗拒的(对那些神职人员也是如此),那就是赌博



 贝叶斯牧师的倒推理 


250 年前,贝叶斯牧师就很重视小数据预测问题,他来自英国迷人的温泉城镇坦布里奇韦尔斯,是一位长老会的牧师。


贝叶斯设想,若是咱们买10 张新的、不熟悉的抽奖彩票,其中有5 张中奖,那么要估计中奖几率就彷佛相对容易:5/10,或50%。


可是,若是咱们只买了一张彩票,并赢得奖品呢?


640?wx_fmt=jpeg


咱们真的认为中奖的几率就是1/1,或是100%的?这彷佛过于乐观,不是吗?


640?wx_fmt=png若是是这样的话,那中奖几率应该是多少?咱们应该猜多少呢?


对于那些曾在不肯定性推理历史上产生如此重大影响的人来讲,贝叶斯本身的故事也具备讽刺的不肯定性


640?wx_fmt=jpeg

贝叶斯


他出生于1701年或者1702年,出生地是英国的赫特福德郡,或是伦敦。


在1746年,或1748年,或1747年,抑或是1749年,他写了一篇在数学界最具影响力的论文,他却未将它发表,并继续作其余事情。


640?wx_fmt=png在这两个事件之间咱们有了更多的把握。做为牧师的儿子,贝叶斯去爱丁堡大学学习神学,并像他父亲同样被任命为牧师。


他对数学和神学感兴趣,并在1736年为牛顿全新的 “微积分”理论写了一篇慷慨激昂的辩护书,以回应乔治伯克利主教对牛顿的攻击。


640?wx_fmt=png

微积分基本定理


这使他在1742年当选为皇家学会的成员,并被赞誉为“擅长几何、数学和哲学学习的绅士”。


1761年贝叶斯去世后,他的朋友理查德·普莱斯被要求整理他的数学论文,看是否有可发布的内容。


640?wx_fmt=png一篇文章引发了他的兴趣,并令他特别兴奋——他说这篇文章“极为出色,值得保存”。


这篇论文就论述了本文所讨论的彩票问题:让咱们想象一我的在抽奖的时候,对会不会中奖彻底不知道,也不知道中奖和无奖的比例如何。


640?wx_fmt=png让咱们进一步假设,他要从他以前了解到的无奖的数量来推测相对的中奖数量,并询问他在这些状况下能作出什么合理的结论。


贝叶斯的关键看法是,试图使用咱们看到的中奖和未中奖彩票来分析彩票来源于总体彩票池的方法,本质上是在倒推。


他说,要作到这一点,咱们须要先用假设向前推理


640?wx_fmt=png换句话说,咱们首先须要肯定,若是各类可能场景都成真的状况下,咱们中奖的可能性有多少。


这个被现代统计学家称为“可能性”的几率,给了咱们解决问题所须要的信息


例如,假设咱们买了三张彩票,三张都中奖了。如今,若是这种彩票中奖率特别高,全部彩票都能中奖,那咱们的买三中三的中奖率就确定会一直发生,在这种状况下就是100% 的几率。


640?wx_fmt=png但若是只有一半的彩票能中奖,那咱们三张彩票的中奖率就是1/2×1/2×1/2, 也就是1/8。


若是1000 张彩票只有一张能中奖,那么咱们的中奖率将是1/1000×1/1000×1/1000,也就是1×10–9


贝叶斯认为,所以咱们应该判断如何能让全部彩票都尽量中奖而不是一半能中奖,或者尽量使一半的彩票中奖而不是1/1000。


640?wx_fmt=png也许咱们生来便拥有这种直觉,但贝叶斯的逻辑思惟却给咱们提供了为这种直觉定量的方法。


在同等条件下,咱们应该想象成全部彩票都中奖的几率比一半中奖的几率要高8 倍,由于咱们在这种状况下买的彩票正好是8 倍多的中奖几率(100% 与1/8)。


一样的,一半的彩票中奖的几率正好是1000 张中一张中奖的1.25 亿倍,咱们已经经过比较1/8 和1×10–9 而得知其中的缘由。


这是贝叶斯论证的关键所在:从假设的过去向前推理,并奠基了理论基础,让咱们能够向后找到最大的可能性


640?wx_fmt=png这是一个巧妙和创新的方法,但它对抽奖问题没能提供一个完整的答案。


普莱斯在向皇家学会提交贝叶斯的研究结果时,他可以肯定,若是你买了一张彩票并中奖了,那么至少有一半的彩票都能中奖的几率是75%。


640?wx_fmt=jpeg


可是,考虑几率的几率问题会让人有点儿头晕。更重要的是,若是有人在催促咱们:“好吧,可是你认为彩票的中奖率究竟是多少?”咱们仍然不知道该说什么。


640?wx_fmt=png如何将全部可能的假设提取到单一的指望值,这一问题将在短短几年后,由法国数学家皮埃尔·西蒙·拉普拉斯(Pierre Simon laplace)解答。



  拉普拉斯定理  


1749年,拉普拉斯生于诺曼底,他父亲送他到一所天主教学校,并但愿他成为神职人员。


640?wx_fmt=jpeg

拉普拉斯


拉普拉斯继续在卡昂大学学习神学,他不像贝叶斯那样一辈子都能平衡对神学和科学的奉献,所以他最终放弃了作牧师,而专攻数学。


1774年,在彻底不知道贝叶斯之前作的工做的状况下,拉普拉斯发表了一篇雄心勃勃的论文,名为“事件缘由的几率论”。


640?wx_fmt=png在这篇论文中,拉普拉斯终于解决了如何从观察到的效果向后推理并找出可能的缘由这一问题。


如咱们所见,贝叶斯找到了一种比较两种假设的相对可能性的方法。可是在彩票这一问题上,这里的假设几乎就是无穷的——每个中奖彩票可能的比例。


利用微积分这一曾备受争议却受到贝叶斯坚定拥护的数学学科,拉普拉斯可以证实这个巨大范围的可能性,这能够提取成一个单一的预估值和一个很是简洁的数字。


640?wx_fmt=jpeg


他表示,若是咱们提早真的不知道彩票的状况,而后当咱们第一次买的三张彩票中的一张彩票中奖了,咱们能够推测奖池里彩票的总中奖比例为2 / 3。


640?wx_fmt=png若是咱们买三张彩票,都中奖了,那咱们能够推测总中奖比例正好是4/5。


事实上,若是买n 张彩票共w 张中奖,那么中奖率就是中奖数加1,除以所购买的数目加2,即(w+1)/(n+2)。


640?wx_fmt=png这种使人难以置信的简单方法,估计几率的简单方法被称为拉普拉斯定律,它很容易就能适用于任何你须要经过历史事件来评估几率的状况。


若是你作了10 次尝试,其中有5 次成功,拉普拉斯定律估计你的总体成功几率是6/12 或50%,这符合咱们的直觉。


若是你只试一次便取得成功,拉普拉斯给的估计是2/3,这比假设你每次都赢更合理,也比普莱斯的观点更具可操做性。(它告诉咱们,50% 或更大的成功几率有75% 的元几率。)


640?wx_fmt=png拉普拉斯继续将他的统计方法应用到普遍的时间问题上,包括评估男孩和女孩的出生率是否真正平均。(他发现,男婴其实比女婴的出生率稍高。)


他还写了关于几率的哲学论文,能够说这是给大众读者的第一本关于几率的书,也是最好的几率书之一,此书奠基了他的理论基础并讲述了这些理论在法律、科学与平常生活上的应用。


拉普拉斯定律为咱们在现实世界中,面对小数据时提供了第一种简单的经验法则。


640?wx_fmt=jpeg


即便咱们只进行了一些或一次观察,它也都能给予咱们实际指导。想知道你的车晚点的几率吗?你的垒球队会赢吗?数一数过去已经发生的数量再加一,而后除以可能的机会数再加2。


拉普拉斯定律的精髓就在于不管咱们有一个单独的数据点,或数以百万计的数据,它都一样适用。


相信太阳明天会升起是有道理的,这句话告诉咱们:地球已经连续看到太阳上升约1.6 万亿天,在下一次的“尝试”中看见太阳不升起来的机会,几乎没有可能。


本文由超级数学建模编辑和整理

部分资料来源于网络

640?wx_fmt=jpeg

640?wx_fmt=png