scikit-learn 朴素贝叶斯类库使用小结

以前在朴素贝叶斯算法原理小结这篇文章中，对朴素贝叶斯分类算法的原理作了一个总结。这里咱们就从实战的角度来看朴素贝叶斯类库。重点讲述scikit-learn 朴素贝叶斯类库的使用要点和参数选择。

1、scikit-learn 朴素贝叶斯类库概述

　　　　朴素贝叶斯是一类比较简单的算法，scikit-learn中朴素贝叶斯类库的使用也比较简单。相对于决策树，KNN之类的算法，朴素贝叶斯须要关注的参数是比较少的，这样也比较容易掌握。在scikit-learn中，一共有3个朴素贝叶斯的分类算法类。分别是GaussianNB，MultinomialNB和BernoulliNB。其中GaussianNB就是先验为高斯分布的朴素贝叶斯，MultinomialNB就是先验为多项式分布的朴素贝叶斯，而BernoulliNB就是先验为伯努利分布的朴素贝叶斯。

　　　　这三个类适用的分类场景各不相同，通常来讲，若是样本特征的分布大部分是连续值，使用GaussianNB会比较好。若是若是样本特征的分大部分是多元离散值，使用MultinomialNB比较合适。而若是样本特征是二元离散值或者很稀疏的多元离散值，应该使用BernoulliNB。

2、2. GaussianNB类使用总结

　　　　GaussianNB假设特征的先验几率为正态分布，即以下式：

\[ P(X_j=x_j|Y=C_k) = \frac{1}{\sqrt{2\pi\sigma_k^2}}exp\Bigg{(}-\frac{(x_j - \mu_k)^2}{2\sigma_k^2}\Bigg{)} \]

　　　　其中\(C_k\)为Y的第k类类别。\(\mu_k和\sigma_k^2\)为须要从训练集估计的值。

　　　　GaussianNB会根据训练集求出\(\mu_k和\sigma_k^2\)。 \(\mu_k\)为在样本类别\(C_k\)中，全部\(X_j\)的平均值。\(\sigma_k^2\)为在样本类别\(C_k\)中，全部\(X_j\)的方差。

　　　　GaussianNB类的主要参数仅有一个，即先验几率priors ，对应Y的各个类别的先验几率\(P(Y=C_k)\)。这个值默认不给出，若是不给出此时\(P(Y=C_k) = m_k/m\)。其中m为训练集样本总数量，\(m_k\)为输出为第k类别的训练集样本数。若是给出的话就以priors 为准。

　　　　在使用GaussianNB的fit方法拟合数据后，咱们能够进行预测。此时预测有三种方法，包括predict，predict_log_proba和predict_proba。

　　　　predict方法就是咱们最经常使用的预测方法，直接给出测试集的预测类别输出。

　　　　predict_proba则不一样，它会给出测试集样本在各个类别上预测的几率。容易理解，predict_proba预测出的各个类别几率里的最大值对应的类别，也就是predict方法获得类别。

　　　　predict_log_proba和predict_proba相似，它会给出测试集样本在各个类别上预测的几率的一个对数转化。转化后predict_log_proba预测出的各个类别对数几率里的最大值对应的类别，也就是predict方法获得类别。

　　　　下面给一个具体的例子，代码以下,亦可见个人github：

import numpy as np
X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
Y = np.array([1, 1, 1, 2, 2, 2])
from sklearn.naive_bayes import GaussianNB
clf = GaussianNB()
#拟合数据
clf.fit(X, Y)
print "==Predict result by predict=="
print(clf.predict([[-0.8, -1]]))
print "==Predict result by predict_proba=="
print(clf.predict_proba([[-0.8, -1]]))
print "==Predict result by predict_log_proba=="
print(clf.predict_log_proba([[-0.8, -1]]))

　　　　结果以下：

==Predict result by predict==
[1]
==Predict result by predict_proba==
[[ 9.99999949e-01 5.05653254e-08]]
==Predict result by predict_log_proba==
[[ -5.05653266e-08 -1.67999998e+01]]
　　　　从上面的结果能够看出，测试样本[-0.8,-1]的类别预测为类别1。具体的测试样本[-0.8,-1]被预测为1的几率为9.99999949e-01 ，远远大于预测为2的几率5.05653254e-08。这也是为何最终的预测结果为1的缘由了。

　　　　此外，GaussianNB一个重要的功能是有 partial_fit方法，这个方法的通常用在若是训练集数据量很是大，一次不能所有载入内存的时候。这时咱们能够把训练集分红若干等分，重复调用partial_fit来一步步的学习训练集，很是方便。后面讲到的MultinomialNB和BernoulliNB也有相似的功能。

3、3. MultinomialNB类使用总结

　　　　MultinomialNB假设特征的先验几率为多项式分布，即以下式：

\[ P(X_j=x_{jl}|Y=C_k) = \frac{x_{jl} + \lambda}{m_k + n\lambda} \]

　　　　其中，\(P(X_j=x_{jl}|Y=C_k)\)是第k个类别的第j维特征的第l个个取值条件几率。\(m_k\)是训练集中输出为第k类的样本个数。\(\lambda\) 为一个大于0的常数，经常取为1，即拉普拉斯平滑。也能够取其余值。

　　　　MultinomialNB参数比GaussianNB多，可是一共也只有仅仅3个。其中，参数alpha即为上面的常数\(\lambda\)，若是你没有特别的须要，用默认的1便可。若是发现拟合的很差，须要调优时，能够选择稍大于1或者稍小于1的数。布尔参数fit_prior表示是否要考虑先验几率，若是是false,则全部的样本类别输出都有相同的类别先验几率。不然能够本身用第三个参数class_prior输入先验几率，或者不输入第三个参数class_prior让MultinomialNB本身从训练集样原本计算先验几率，此时的先验几率为\(P(Y=C_k) = m_k/m\)。其中m为训练集样本总数量，\(m_k\)为输出为第k类别的训练集样本数。总结以下：

fit_prior	class_prior	最终先验几率
false	填或者不填没有意义	\(P(Y=C_k) = 1/k\)
true	不填	\(P(Y=C_k) = m_k/m\)
true	填	$P(Y=C_k) = $class_prior   　　　　在使用MultinomialNB的fit方法或者partial_fit方法拟合数据后，咱们能够进行预测。此时预测有三种方法，包括predict，predict_log_proba和predict_proba。因为方法和GaussianNB彻底同样，这里就不累述了。　 4、4. BernoulliNB类使用总结 　　　　BernoulliNB假设特征的先验几率为二元伯努利分布，即以下式： \[ P(X_j=x_{jl}|Y=C_k) = P(j|Y=C_k)x_{jl} + (1 - P(j|Y=C_k)(1-x_{jl}) \] 　　　　此时\(l\)只有两种取值。\(x_{jl}\)只能取值0或者1。 　　　　BernoulliNB一共有4个参数，其中3个参数的名字和意义和MultinomialNB彻底相同。惟一增长的一个参数是binarize。这个参数主要是用来帮BernoulliNB处理二项分布的，能够是数值或者不输入。若是不输入，则BernoulliNB认为每一个数据特征都已是二元的。不然的话，小于binarize的会归为一类，大于binarize的会归为另一类。 　　　　在使用BernoulliNB的fit或者partial_fit方法拟合数据后，咱们能够进行预测。此时预测有三种方法，包括predict，predict_log_proba和predict_proba。因为方法和GaussianNB彻底同样，这里就不累述了。 　　　　以上就是scikit-learn 朴素贝叶斯类库的使用的经验总结。但愿能够帮到朋友们。   （欢迎转载，转载请注明出处。欢迎沟通交流： 微信：nickchen121） posted @ 2019-07-19 17:51  十七岁的有德 阅读( ...) 评论( ...) 编辑 收藏 刷新评论 刷新页面 返回顶部 Copyright © 2019 十七岁的有德 Powered by .NET Core 3.0.0 on Linux