机器学习从入门到放弃之朴素贝叶斯

简介

此次咱们来谈谈机器学习中另一个数学气息比较浓的算法朴素贝叶斯算法。

可能有朋友会看见数学气息比较浓心理就咯噔一下，先别急着叉掉本文，说朴素贝叶斯算法算法的数学气息比较浓，并不是它有什么巨发杂的数学公式，而是它常见于几率统计之中，在本科教育就有对其比较详细的描述，而以前体积的K邻近，决策树,包括之后可能会谈到的SVM,神经网络网络等，恐怕不是专业领域,很难知道这些名词。

固然，可能你已经忘记了，那咱们就先看看公式吧

$$P(B|A)=frac {P(A|B)P(B)} {P(A)}$$

怎么样，是否有一种熟悉感？

上面就是贝叶斯公式，接下来，开始说一下算法该如何设计。

算法设计

第一步咱们须要对上述公式进行推广至N维特征

$$P(Y|X_1X_2.....X_N)=frac {P(X_1X_2.....X_N|Y)P(Y)}{P(X_1X_2.....X_N)}$$

上述公式可解析为，当对象知足[X1,X2……Xn]这些特征时，该对象属于Y类的几率是多少。

显然，只要咱们算出每个Y的值，几率最大的那个类别，就是咱们想要的。

因为做为分母的P(X_1X_2.....X_N)在每一个类别的计算都是相同的，而咱们只需比较大小，并不须要每个的准确值，公式天然能够简化成

$$f(x)=P(X_1X_2.....X_N|Y)P(Y)$$

为了进一步简化计算，咱们假设每一个特征都彼此独立（这也是该算法被称为朴素贝叶斯的缘由），所以，公式将变成

$$f(x)=P(X_1|Y)P(X_2|Y).....P(X_n|Y)P(Y)$$

这一下就至关清晰明了。

P(X1|Y)P(X2|Y).....P(Xn|Y)与输入变量有关(分别表示在训练集中Y某值时，而后X1为某值时的几率)，但P(Y)是恒定的，所以该算法就是在训练过程当中，根据训练集，计算出每个Y的几率值，再在运行期与特征进行运算。
最后只需进行简单的排序，便可得到预测结果。

代码实现

代码也是在我以前的github仓库中

github

若是你对机器学习的算法有足够的认识，你会发现朴素贝叶斯和前些时候提到的K邻近算法，算是比较容易本身实现的，由于其余算法即便忽略数学证实和推导，你也不可避免的理解每个参数和函数的意义，这样你才能理解调参后悔对模型有什么影响，可是朴素贝叶斯和K邻近算法，只是单纯的代数运算而已。

既然如此，对机器学习感兴趣的同窗，为何不本身实现一次呢？have fun~~~