白话机器学习 - 最大似然

机器学习，从本质上讲，就是一种经验的总结。
例如，“山雨欲来风满楼”，山里面下大雨以前会刮大风，就是一种经验的总结。固然，这也不是100%准确的事情，只是从几率上看，刮风以后下雨的可能性是最大的。
机器学习模型，咱们追求的也就是，这个模型看上去是最靠谱的，最接近咱们观察到的事实的。换句话说，咱们经过观察到的事件，来肯定模型，使得这个模型在几率上说，是最有可能的，最符合咱们观察到的事件的。

不均匀硬币

如今，有一枚硬币，因为加工不均匀，每次抛硬币时，其正面朝上的几率为 X ，如今，咱们怎么才能知道这个X是多少呢？最简单的办法是抛10次硬币，若是6次正面朝上，咱们很容易脱口而出，正面朝上的几率是3/5.
为何咱们能够脱口而出，不假思索的说是3/5呢？理由很简单啊，抛10次，6次向上，正面朝上的几率为3/5最合理啊，这种可能性最高啊。
因为是几率，因此，这个估计或多或少都存在一个运气的问题，可能这个硬币朝上的几率只有1/10,可是抛硬币的人特别妖，就是可以10次里面抛出6次正面朝上。

• “抛10次硬币，6次正面向上“ 和 ”硬币正面朝上的几率为3/5”
• “抛10次硬币，6次正面向上“ 和 ”硬币正面朝上的几率为1/10”

因为抛硬币问题简单，并且上面两个判断相差很大，因此咱们很容易就知道前者可能性最大，后者可能性较小。若是问题改为

• 山雨欲来风满楼
• 雨后出现彩虹

哪一个比较靠谱，这个就很是难了吧。因此，咱们还须要一套理论去量化靠谱程度，可能性到底有多高的程度。

猎人

MLE maximum likelihood estimation的最本质的思想就是：发生某事件X，咱们很是关心致使这件事情发生的缘由或者细节A(A有多种可能性)。但对于A，咱们没法溯源去回放事件，去验证究竟是哪一个。因而咱们企图找到某一个A(即估计值Ahat)，使得【基于Ahat，当下咱们观察到的现实——X的发生——具备最大的发生的可能性】，这样的想法获得的Ahat就是极大似然估计。一个小故事：有一个业余的猎人新手和一名资深猎人，他们一人一把枪地跑去打猎，砰地一声枪响，一头小鹿应声倒地，这时候问你：更可能的状况是猎人打中了仍是新手打中了？在这个故事里，【发生的某事件X】是小鹿被打中，【咱们关心的事情A】是谁打中了小鹿，【A的可能的状况】有猎人打中或新手打中，【极大似然估计A】是猎人打中。

做者：Vincent
连接：https://www.zhihu.com/question/24124998/answer/46745176
来源：知乎
著做权归做者全部。商业转载请联系做者得到受权，非商业转载请注明出处。

几率分布

在数学上有不少几率分布，这里就再也不啰嗦了，能够参看下面的文章
http://blog.csdn.net/sunmenggmail/article/details/17138651

二项分布的典型例子是扔硬币，硬币正面朝上几率为p, 重复扔n次硬币，k次为正面的几率即为一个二项分布几率。

硬币正面向上几率是0.6，抛10次，6次朝上的几率是 0.2508
硬币正面向上几率是0.1，抛10次，6次朝上的几率是 0.0001
（顺便计算一下，硬币正面向上几率是0.1，抛10次，1次朝上的几率是 0.3874）

不管硬币正面向上几率是多少，若是将抛10次里面1次朝上的几率，2次朝上的几率，一直累加到10次朝上的几率，其总和应该为1.

• 咱们看到10次里面6次朝上的结果，硬币正面向上几率为0.6和0.1之间相差上千倍。
• ”硬币正面向上几率是0.1，抛10次，1次朝上“ 比 ”硬币正面向上几率是0.6，抛10次，6次朝上“ 更加靠谱

几率分布就是为了量化靠谱程度的数学工具。经过这些工具，咱们能够计算出一个观察结果（抛10次硬币，6次正面向上）和一个带参数（正面朝上几率）的模型之间，从几率上讲，类似（似然）程度。