机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）

时间 2019-11-05

原文原文链接

　　前言：html

　　找工做时（IT行业），除了常见的软件开发之外，机器学习岗位也能够看成是一个选择，很多计算机方向的研究生都会接触这个，若是你的研究方向是机器学习/数据挖掘之类，且又对其很是感兴趣的话，能够考虑考虑该岗位，毕竟在机器智能没达到人类水平以前，机器学习能够做为一种重要手段，而随着科技的不断发展，相信这方面的人才需求也会愈来愈大。面试

　　纵观IT行业的招聘岗位，机器学习之类的岗位仍是挺少的，国内大点的公司里百度，阿里，腾讯，网易，搜狐，华为（华为的岗位基本都是随机分配，机器学习等岗位基本面向的是博士）等会有相关职位，另一些国内的中小型企业和外企也会招一小部分。固然了，其中大部分仍是百度北京要人最多，上百人。阿里的算法岗位很大一部分也是搞机器学习相关的。另外本人有幸签约了网易杭州研究院的深度学习算法岗位，打算从事机器学习领域至少5年。很是感谢小易收留了我！算法

　　下面是本人在找机器学习岗位工做时，总结的常见机器学习算法（主要是一些常规分类器）大概流程和主要思想，但愿对你们找机器学习岗位时有点帮助。实际上在面试过程当中，懂这些算法的基本思想和大概流程是远远不够的，那些面试官每每问的都是一些公司内部业务中的课题，每每要求你不只要懂得这些算法的理论过程，并且要很是熟悉怎样使用它，什么场合用它，算法的优缺点，以及调参经验等等。说白了，就是既要会点理论，也要会点应用，既要有点深度，也要有点广度，不然运气很差的话很容易就被刷掉，由于每一个面试官爱好不一样。机器学习

　　朴素贝叶斯：函数

　　有如下几个地方须要注意：学习

　　1. 若是给出的特征向量长度可能不一样，这是须要归一化为通长度的向量（这里以文本分类为例），好比说是句子单词的话，则长度为整个词汇量的长度，对应位置是该单词出现的次数。测试

　　2. 计算公式以下：大数据

　　其中一项条件几率能够经过朴素贝叶斯条件独立展开。要注意一点就是的计算方法，而由朴素贝叶斯的前提假设可知， = ，所以通常有两种，一种是在类别为ci的那些样本集中，找到wj出现次数的总和，而后除以该样本的总和；第二种方法是类别为ci的那些样本集中，找到wj出现次数的总和，而后除以该样本中全部特征出现次数的总和。优化

　　3. 若是中的某一项为0，则其联合几率的乘积也可能为0，即2中公式的分子为0，为了不这种现象出现，通常状况下会将这一项初始化为1，固然为了保证几率相等，分母应对应初始化为2（这里由于是2类，因此加2，若是是k类就须要加k，术语上叫作laplace光滑, 分母加k的缘由是使之知足全几率公式）。google

　　朴素贝叶斯的优势：

　　对小规模的数据表现很好，适合多分类任务，适合增量式训练。

　　缺点：

　　对输入数据的表达形式很敏感。

　　决策树：

　　决策树中很重要的一点就是选择一个属性进行分枝，所以要注意一下信息增益的计算公式，并深刻理解它。

　　信息熵的计算公式以下:

　　其中的n表明有n个分类类别（好比假设是2类问题，那么n=2）。分别计算这2类样本在总样本中出现的几率p1和p2，这样就能够计算出未选中属性分枝前的信息熵。

　　如今选中一个属性xi用来进行分枝，此时分枝规则是：若是xi=vx的话，将样本分到树的一个分支；若是不相等则进入另外一个分支。很显然，分支中的样本颇有可能包括2个类别，分别计算这2个分支的熵H1和H2,计算出分枝后的总信息熵H’=p1*H1+p2*H2.，则此时的信息增益ΔH=H-H’。以信息增益为原则，把全部的属性都测试一边，选择一个使增益最大的属性做为本次分枝属性。

　　决策树的优势：

　　计算量简单，可解释性强，比较适合处理有缺失属性值的样本，可以处理不相关的特征；

　　缺点：

　　容易过拟合（后续出现了随机森林，减少了过拟合现象）；

　　Logistic回归：

　　Logistic是用来分类的，是一种线性分类器，须要注意的地方有：

　　1. logistic函数表达式为：

　　其导数形式为：

　　2. logsitc回归方法主要是用最大似然估计来学习的，因此单个样本的后验几率为：

　　到整个样本的后验几率：

　　其中：

　　经过对数进一步化简为：

　　3. 其实它的loss function为-l(θ)，所以咱们需使loss function最小，可采用梯度降低法获得。梯度降低法公式为:

　　Logistic回归优势：

　　一、实现简单；

　　二、分类时计算量很是小，速度很快，存储资源低；

　　缺点：

　　一、容易欠拟合，通常准确度不过高

　　二、只能处理两分类问题（在此基础上衍生出来的softmax能够用于多分类），且必须线性可分；

　　线性回归：

　　线性回归才是真正用于回归的，而不像logistic回归是用于分类，其基本思想是用梯度降低法对最小二乘法形式的偏差函数进行优化，固然也能够用normal equation直接求得参数的解，结果为：

　　而在LWLR（局部加权线性回归）中，参数的计算表达式为:

　　由于此时优化的是：

　　因而可知LWLR与LR不一样，LWLR是一个非参数模型，由于每次进行回归计算都要遍历训练样本至少一次。

　　线性回归优势：

　　实现简单，计算简单；

　　缺点：

　　不能拟合非线性数据；

　　KNN算法：

　　KNN即最近邻算法，其主要过程为：

　　1. 计算训练样本和测试样本中每一个样本点的距离（常见的距离度量有欧式距离，马氏距离等）；

　　2. 对上面全部的距离值进行排序；

　　3. 选前k个最小距离的样本；

　　4. 根据这k个样本的标签进行投票，获得最后的分类类别；

　　如何选择一个最佳的K值，这取决于数据。通常状况下，在分类时较大的K值可以减少噪声的影响。但会使类别之间的界限变得模糊。一个较好的K值可经过各类启发式技术来获取，好比，交叉验证。另外噪声和非相关性特征向量的存在会使K近邻算法的准确性减少。

　　近邻算法具备较强的一致性结果。随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的K值，K近邻保证错误率不会超过贝叶斯理论偏差率。

　　注：马氏距离必定要先给出样本集的统计性质，好比均值向量，协方差矩阵等。关于马氏距离的介绍以下：

　　KNN算法的优势：

　　1. 思想简单，理论成熟，既能够用来作分类也能够用来作回归；

　　2. 可用于非线性分类；

　　3. 训练时间复杂度为O(n)；

　　4. 准确度高，对数据没有假设，对outlier不敏感；

　　缺点：

　　1. 计算量大；

　　2. 样本不平衡问题（即有些类别的样本数量不少，而其它样本的数量不多）；

　　3. 须要大量的内存；

　　SVM：

　　要学会如何使用libsvm以及一些参数的调节经验，另外须要理清楚svm算法的一些思路：

　　1. svm中的最优分类面是对全部样本的几何裕量最大（为何要选择最大间隔分类器，请从数学角度上说明？网易深度学习岗位面试过程当中有被问到。答案就是几何间隔与样本的误分次数间存在关系：，其中的分母就是样本到分类间隔距离，分子中的R是全部样本中的最长向量值），即：

　　通过一系列推导可得为优化下面原始目标：

　　2. 下面来看看拉格朗日理论：

　　能够将1中的优化目标转换为拉格朗日的形式（经过各类对偶优化，KKD条件），最后目标函数为：

　　咱们只须要最小化上述目标函数，其中的α为原始优化问题中的不等式约束拉格朗日系数。

　　3. 对2中最后的式子分别w和b求导可得：

　　由上面第1式子能够知道，若是咱们优化出了α，则直接能够求出w了，即模型的参数搞定。而上面第2个式子能够做为后续优化的一个约束条件。

　　4. 对2中最后一个目标函数用对偶优化理论能够转换为优化下面的目标函数：

　　而这个函数能够用经常使用的优化方法求得α，进而求得w和b。

　　5. 按照道理，svm简单理论应该到此结束。不过仍是要补充一点，即在预测时有：

　　那个尖括号咱们能够用核函数代替，这也是svm常常和核函数扯在一块儿的缘由。

　　6. 最后是关于松弛变量的引入，所以原始的目标优化公式为：

　　此时对应的对偶优化公式为：

　　与前面的相比只是α多了个上界。

　　SVM算法优势：

　　可用于线性/非线性分类，也能够用于回归；

　　低泛化偏差；

　　容易解释；

　　计算复杂度较低；

　　缺点：

　　对参数和核函数的选择比较敏感；

　　原始的SVM只比较擅长处理二分类问题；

　　Boosting：

　　主要以Adaboost为例，首先来看看Adaboost的流程图，以下：

　　从图中能够看到，在训练过程当中咱们须要训练出多个弱分类器（图中为3个），每一个弱分类器是由不一样权重的样本（图中为5个训练样本）训练获得（其中第一个弱分类器对应输入样本的权值是同样的），而每一个弱分类器对最终分类结果的做用也不一样，是经过加权平均输出的，权值见上图中三角形里面的数值。那么这些弱分类器和其对应的权值是怎样训练出来的呢？

　　下面经过一个例子来简单说明。

　　书中（machine learning in action）假设的是5个训练样本，每一个训练样本的维度为2，在训练第一个分类器时5个样本的权重各为0.2. 注意这里样本的权值和最终训练的弱分类器组对应的权值α是不一样的，样本的权重只在训练过程当中用到，而α在训练过程和测试过程都有用到。

　　如今假设弱分类器是带一个节点的简单决策树，该决策树会选择2个属性（假设只有2个属性）的一个，而后计算出这个属性中的最佳值用来分类。

　　Adaboost的简单版本训练过程以下：

　　1. 训练第一个分类器，样本的权值D为相同的均值。经过一个弱分类器，获得这5个样本（请对应书中的例子来看，依旧是machine learning in action）的分类预测标签。与给出的样本真实标签对比，就可能出现偏差(即错误)。若是某个样本预测错误，则它对应的错误值为该样本的权重，若是分类正确，则错误值为0. 最后累加5个样本的错误率之和，记为ε。

　　2. 经过ε来计算该弱分类器的权重α，公式以下：

　　3. 经过α来计算训练下一个弱分类器样本的权重D，若是对应样本分类正确，则减少该样本的权重，公式为：

　　若是样本分类错误，则增长该样本的权重，公式为：

　　4. 循环步骤1,2,3来继续训练多个分类器，只是其D值不一样而已。

　　测试过程以下：

　　输入一个样本到训练好的每一个弱分类中，则每一个弱分类都对应一个输出标签，而后该标签乘以对应的α，最后求和获得值的符号即为预测标签值。

　　Boosting算法的优势：

　　低泛化偏差；

　　容易实现，分类准确率较高，没有太多参数能够调；

　　缺点：

　　对outlier比较敏感；

　　聚类：

　　根据聚类思想划分：

　　1. 基于划分的聚类:

　　K-means, k-medoids(每个类别中找一个样本点来表明),CLARANS.

　　k-means是使下面的表达式值最小：

　　 k-means算法的优势：

　　（1）k-means算法是解决聚类问题的一种经典算法，算法简单、快速。

　　（2）对处理大数据集，该算法是相对可伸缩的和高效率的，由于它的复杂度大约是O(nkt)，其中n是全部对象的数目，k是簇的数目,t是迭代的次数。一般k<<n。这个算法一般局部收敛。

　　（3）算法尝试找出使平方偏差函数值最小的k个划分。当簇是密集的、球状或团状的，且簇与簇之间区别明显时，聚类效果较好。

　　 缺点：

　　（1）k-平均方法只有在簇的平均值被定义的状况下才能使用，且对有些分类属性的数据不适合。

　　（2）要求用户必须事先给出要生成的簇的数目k。

　　（3）对初值敏感，对于不一样的初始值，可能会致使不一样的聚类结果。

　　（4）不适合于发现非凸面形状的簇，或者大小差异很大的簇。

　　（5）对于"噪声"和孤立点数据敏感，少许的该类数据可以对平均值产生极大影响。

　　2. 基于层次的聚类：

　　自底向上的凝聚方法，好比AGNES。

　　自上向下的分裂方法，好比DIANA。

　　3. 基于密度的聚类：

　　DBSACN,OPTICS,BIRCH(CF-Tree),CURE.

　　4. 基于网格的方法：

　　STING, WaveCluster.

　　5. 基于模型的聚类：

　　EM,SOM,COBWEB.

　　以上这些算法的简介可参考聚类（百度百科）。

　 推荐系统：

　　推荐系统的实现主要分为两个方面：基于内容的实现和协同滤波的实现。

　　基于内容的实现：

　　不一样人对不一样电影的评分这个例子，能够看作是一个普通的回归问题，所以每部电影都须要提早提取出一个特征向量(即x值)，而后针对每一个用户建模，即每一个用户打的分值做为y值，利用这些已有的分值y和电影特征值x就能够训练回归模型了(最多见的就是线性回归)。这样就能够预测那些用户没有评分的电影的分数。（值得注意的是需对每一个用户都创建他本身的回归模型）

　　从另外一个角度来看，也能够是先给定每一个用户对某种电影的喜爱程度（即权值），而后学出每部电影的特征，最后采用回归来预测那些没有被评分的电影。

　　固然还能够是同时优化获得每一个用户对不一样类型电影的热爱程度以及每部电影的特征。具体能够参考Ng在coursera上的ml教程：https://www.coursera.org/course/ml

　　基于协同滤波的实现：

　　协同滤波（CF）能够看作是一个分类问题，也能够看作是矩阵分解问题。协同滤波主要是基于每一个人本身的喜爱都相似这一特征，它不依赖于我的的基本信息。好比刚刚那个电影评分的例子中，预测那些没有被评分的电影的分数只依赖于已经打分的那些分数，并不须要去学习那些电影的特征。

　　SVD将矩阵分解为三个矩阵的乘积，公式以下所示：

　　中间的矩阵sigma为对角矩阵，对角元素的值为Data矩阵的奇异值(注意奇异值和特征值是不一样的)，且已经从大到小排列好了。即便去掉特征值小的那些特征，依然能够很好的重构出原始矩阵。以下图所示：

　　其中更深的颜色表明去掉小特征值重构时的三个矩阵。

　　果m表明商品的个数，n表明用户的个数，则U矩阵的每一行表明商品的属性，如今经过降维U矩阵（取深色部分）后，每个商品的属性能够用更低的维度表示（假设为k维）。这样当新来一个用户的商品推荐向量X，则能够根据公式X'*U1*inv(S1)获得一个k维的向量，而后在V’中寻找最类似的那一个用户（类似度测量可用余弦公式等），根据这个用户的评分来推荐（主要是推荐新用户未打分的那些商品）。具体例子能够参考网页：SVD在推荐系统中的应用。

　　另外关于SVD分解后每一个矩阵的实际含义能够参考google吴军的《数学之美》一书（不过我的感受吴军解释UV两个矩阵时好像弄反了，不知道你们怎样认为）。或者参考machine learning in action其中的svd章节。

　　pLSA:

　　pLSA由LSA发展过来，而早期LSA的实现主要是经过SVD分解。pLSA的模型图以下：

　　公式中的意义以下：

　　具体能够参考2010龙星计划：机器学习中对应的主题模型那一讲

　　LDA：

　　主题模型，几率图以下：

　　和pLSA不一样的是LDA中假设了不少先验分布，且通常参数的先验分布都假设为Dirichlet分布，其缘由是共轭分布时先验几率和后验几率的形式相同。

　　GDBT：

　　GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，好像在阿里内部用得比较多（因此阿里算法岗位面试时可能会问到），它是一种迭代的决策树算法，该算法由多棵决策树组成，全部树的输出结果累加起来就是最终答案。它在被提出之初就和SVM一块儿被认为是泛化能力（generalization)较强的算法。近些年更由于被用于搜索排序的机器学习模型而引发你们关注。

　　GBDT是回归树，不是分类树。其核心就在于，每一棵树是从以前全部树的残差中来学习的。为了防止过拟合，和Adaboosting同样，也加入了boosting这一项。

　　关于GDBT的介绍能够能够参考：GBDT（MART）迭代决策树入门教程 | 简介。

　　Regularization:

　　做用是（网易电话面试时有问到）：

　　1. 数值上更容易求解；

　　2. 特征数目太大时更稳定；

　　3. 控制模型的复杂度，光滑性。复杂性越小且越光滑的目标函数泛化能力越强。而加入规则项能使目标函数复杂度减少，且更光滑。

　　4. 减少参数空间；参数空间越小，复杂度越低。

　　5. 系数越小，模型越简单，而模型越简单则泛化能力越强（Ng宏观上给出的解释）。

　　6. 能够当作是权值的高斯先验。

　　异常检测：

　　能够估计样本的密度函数，对于新样本直接计算其密度，若是密度值小于某一阈值，则表示该样本异常。而密度函数通常采用多维的高斯分布。若是样本有n维，则每一维的特征均可以看做是符合高斯分布的，即便这些特征可视化出来不太符合高斯分布，也能够对该特征进行数学转换让其看起来像高斯分布，好比说x=log(x+c), x=x^(1/c)等。异常检测的算法流程以下：

　　其中的ε也是经过交叉验证获得的，也就是说在进行异常检测时，前面的p(x)的学习是用的无监督，后面的参数ε学习是用的有监督。那么为何不所有使用普通有监督的方法来学习呢（即把它看作是一个普通的二分类问题）？主要是由于在异常检测中，异常的样本数量很是少而正常样本数量很是多，所以不足以学习到好的异常行为模型的参数，由于后面新来的异常样本可能彻底是与训练样本中的模式不一样。

　　另外，上面是将特征的每一维当作是相互独立的高斯分布，其实这样的近似并非最好的，可是它的计算量较小，所以也常被使用。更好的方法应该是将特征拟合成多维高斯分布，这时有特征之间的相关性，但随之计算量会变复杂，且样本的协方差矩阵还可能出现不可逆的状况（主要在样本数比特征数小，或者样本特征维数之间有线性关系时）。

　　上面的内容能够参考Ng的https://www.coursera.org/course/ml

　　EM算法：

　　有时候由于样本的产生和隐含变量有关（隐含变量是不能观察的），而求模型的参数时通常采用最大似然估计，因为含有了隐含变量，因此对似然函数参数求导是求不出来的，这时能够采用EM算法来求模型的参数的（对应模型参数个数可能有多个），EM算法通常分为2步：

　　E步：选取一组参数，求出在该参数下隐含变量的条件几率值；

　　M步：结合E步求出的隐含变量条件几率，求出似然函数下界函数（本质上是某个指望函数）的最大值。

　　重复上面2步直至收敛。

　　公式以下所示：

　　M步公式中下界函数的推导过程：

　　EM算法一个常见的例子就是GMM模型，每一个样本都有可能由k个高斯产生，只不过由每一个高斯产生的几率不一样而已，所以每一个样本都有对应的高斯分布（k个中的某一个），此时的隐含变量就是每一个样本对应的某个高斯分布。

　　GMM的E步公式以下（计算每一个样本对应每一个高斯的几率）：

　　更具体的计算公式为：

　　M步公式以下（计算每一个高斯的比重，均值，方差这3个参数）：