本文介绍了 10 大经常使用机器学习算法，包括线性回归、Logistic 回归、线性判别分析、朴素贝叶斯、KNN、随机森林等。
1. 线性回归算法
在统计学和机器学习领域，线性回归多是最广为人知也最易理解的算法之一。数据结构
预测建模主要关注的是在牺牲可解释性的状况下，尽量最小化模型偏差或作出最准确的预测。咱们将借鉴、重用来自许多其它领域的算法（包括统计学）来实现这些目标。机器学习
线性回归模型被表示为一个方程式，它为输入变量找到特定的权重（即系数 B），进而描述一条最佳拟合了输入变量（x）和输出变量（y）之间关系的直线。函数
线性回归性能
例如： y = B0 + B1 * x学习
咱们将在给定输入值 x 的条件下预测 y，线性回归学习算法的目的是找到系数 B0 和 B1 的值。优化
咱们可使用不一样的技术来从数据中学习线性回归模型，例如普通最小二乘法的线性代数解和梯度降低优化。设计
线性回归大约有 200 多年的历史，并已被普遍地研究。在使用此类技术时，有一些很好的经验规则：咱们能够删除很是相似（相关）的变量，并尽量移除数据中的噪声。线性回归是一种运算速度很快的简单技术，也是一种适合初学者尝试的经典算法。内存
2. Logistic 回归开发
Logistic 回归是机器学习从统计学领域借鉴过来的另外一种技术。它是二分类问题的首选方法。
像线性回归同样，Logistic 回归的目的也是找到每一个输入变量的权重系数值。但不一样的是，Logistic 回归的输出预测结果是经过一个叫做「logistic 函数」的非线性函数变换而来的。
logistic 函数的形状看起来像一个大的「S」，它会把任何值转换至 0-1 的区间内。这十分有用，由于咱们能够把一个规则应用于 logistic 函数的输出，从而获得 0-1 区间内的捕捉值（例如，将阈值设置为 0.5，则若是函数值小于 0.5，则输出值为 1），并预测类别的值。
Logistic 回归
因为模型的学习方式，Logistic 回归的预测结果也能够用做给定数据实例属于类 0 或类 1 的几率。这对于须要为预测结果提供更多理论依据的问题很是有用。
与线性回归相似，当删除与输出变量无关以及彼此之间很是类似（相关）的属性后，Logistic 回归的效果更好。该模型学习速度快，对二分类问题十分有效。
3. 线性判别分析
Logistic 回归是一种传统的分类算法，它的使用场景仅限于二分类问题。若是你有两个以上的类，那么线性判别分析算法（LDA）是首选的线性分类技术。
LDA 的表示方法很是直接。它包含为每一个类计算的数据统计属性。对于单个输入变量而言，这些属性包括：
- 每一个类的均值。
- 全部类的方差。
线性判别分析
预测结果是经过计算每一个类的判别值、并将类别预测为判别值最大的类而得出的。该技术假设数据符合高斯分布（钟形曲线），所以最好预先从数据中删除异常值。LDA 是一种简单而有效的分类预测建模方法。
4. 分类和回归树
决策树是一类重要的机器学习预测建模算法。
决策树能够被表示为一棵二叉树。这种二叉树与算法设计和数据结构中的二叉树是同样的，没有什么特别。每一个节点都表明一个输入变量（x）和一个基于该变量的分叉点（假设该变量是数值型的）。
决策树
决策树的叶子结点包含一个用于作出预测的输出变量（y）。预测结果是经过在树的各个分叉路径上游走，直到到达一个叶子结点并输出该叶子结点的类别值而得出。
决策树的学习速度很快，作出预测的速度也很快。它们在大量问题中每每都很准确，并且不须要为数据作任何特殊的预处理准备。
5. 朴素贝叶斯
朴素贝叶斯是一种简单而强大的预测建模算法。
该模型由两类可直接从训练数据中计算出来的几率组成：1）数据属于每一类的几率；2）给定每一个 x 值，数据从属于每一个类的条件几率。一旦这两个几率被计算出来，就可使用贝叶斯定理，用几率模型对新数据进行预测。当你的数据是实值的时候，一般假设数据符合高斯分布（钟形曲线），这样你就能够很容易地估计这些几率。
贝叶斯定理
朴素贝叶斯之因此被称为「朴素」，是由于它假设每一个输入变量相互之间是独立的。这是一种很强的、对于真实数据并不现实的假设。不过，该算法在大量的复杂问题中十分有效。
6. K 最近邻算法
K 最近邻（KNN）算法是很是简单而有效的。KNN 的模型表示就是整个训练数据集。这很简单吧？
对新数据点的预测结果是经过在整个训练集上搜索与该数据点最类似的 K 个实例（近邻）而且总结这 K 个实例的输出变量而得出的。对于回归问题来讲，预测结果可能就是输出变量的均值；而对于分类问题来讲，预测结果多是众数（或最多见的）的类的值。
关键之处在于如何断定数据实例之间的类似程度。若是你的数据特征尺度相同（例如，都以英寸为单位），那么最简单的度量技术就是使用欧几里得距离，你能够根据输入变量之间的差别直接计算出该值。
K 最近邻
KNN 可能须要大量的内存或空间来存储全部数据，但只有在须要预测时才实时执行计算（或学习）。随着时间的推移，你还能够更新并管理训练实例，以保证预测的准确率。
使用距离或接近程度的度量方法可能会在维度很是高的状况下（有许多输入变量）崩溃，这可能会对算法在你的问题上的性能产生负面影响。这就是所谓的维数灾难。这告诉咱们，应该仅仅使用那些与预测输出变量最相关的输入变量。
7. 学习向量量化
KNN 算法的一个缺点是，你须要处理整个训练数据集。而学习向量量化算法（LVQ）容许选择所需训练实例数量，并确切地学习这些实例。
学习向量量化
LVQ 的表示是一组码本向量。它们在开始时是随机选择的，通过多轮学习算法的迭代后，最终对训练数据集进行最好的总结。经过学习，码本向量可被用来像 K 最近邻那样执行预测。经过计算每一个码本向量与新数据实例之间的距离，能够找到最类似的邻居（最匹配的码本向量）。而后返回最匹配单元的类别值（分类）或实值（回归）做为预测结果。若是将数据从新放缩放到相同的范围中（例如 0 到 1 之间），就能够得到最佳的预测结果。
若是你发现 KNN 可以在你的数据集上获得不错的预测结果，那么不妨试一试 LVQ 技术，它能够减小对内存空间的需求，不须要像 KNN 那样存储整个训练数据集。
8. 支持向量机
支持向量机（SVM）多是目前最流行、被讨论地最多的机器学习算法之一。
超平面是一条对输入变量空间进行划分的「直线」。支持向量机会选出一个将输入变量空间中的点按类（类 0 或类 1）进行最佳分割的超平面。在二维空间中，你能够把他想象成一条直线，假设全部输入点均可以被这条直线彻底地划分开来。SVM 学习算法旨在寻找最终经过超平面获得最佳类别分割的系数。
支持向量机
超平面与最近数据点之间的距离叫做间隔（margin）。可以将两个类分开的最佳超平面是具备最大间隔的直线。只有这些点与超平面的定义和分类器的构建有关，这些点叫做支持向量，它们支持或定义超平面。在实际应用中，人们采用一种优化算法来寻找使间隔最大化的系数值。
支持向量机多是目前能够直接使用的最强大的分类器之一，值得你在本身的数据集上试一试。
9. 袋装法和随机森林
随机森林是最流行也最强大的机器学习算法之一，它是一种集成机器学习算法。
自助法是一种从数据样本中估计某个量（例如平均值）的强大统计学方法。你须要在数据中取出大量的样本，计算均值，而后对每次取样计算出的均值再取平均，从而获得对全部数据的真实均值更好的估计。
Bagging 使用了相同的方法。可是最多见的作法是使用决策树，而不是对整个统计模型进行估计。Bagging 会在训练数据中取多个样本，而后为每一个数据样本构建模型。当你须要对新数据进行预测时，每一个模型都会产生一个预测结果，Bagging 会对全部模型的预测结果取平均，以便更好地估计真实的输出值。
随机森林
随机森林是这种方法的改进，它会建立决策树，这样就不用选择最优分割点，而是经过引入随机性来进行次优分割。
所以，为每一个数据样本建立的模型比在其它状况下建立的模型更加独特，可是这种独特的方式仍能保证较高的准确率。结合它们的预测结果能够更好地估计真实的输出值。
若是你使用具备高方差的算法（例如决策树）得到了良好的结果，那么你一般能够经过对该算法执行 Bagging 得到更好的结果。
10. Boosting 和 AdaBoost
Boosting 是一种试图利用大量弱分类器建立一个强分类器的集成技术。要实现 Boosting 方法，首先你须要利用训练数据构建一个模型，而后建立第二个模型（它企图修正第一个模型的偏差）。直到最后模型可以对训练集进行完美地预测或加入的模型数量已达上限，咱们才中止加入新的模型。
AdaBoost 是第一个为二分类问题开发的真正成功的 Boosting 算法。它是人们入门理解 Boosting 的最佳起点。当下的 Boosting 方法创建在 AdaBoost 基础之上，最著名的就是随机梯度提高机。
AdaBoost
AdaBoost 使用浅层决策树。在建立第一棵树以后，使用该树在每一个训练实例上的性能来衡量下一棵树应该对每一个训练实例赋予多少权重。难以预测的训练数据权重会增大，而易于预测的实例权重会减少。模型是一个接一个依次建立的，每一个模型都会更新训练实例权重，影响序列中下一棵树的学习。在构建全部的树以后，咱们就能够对新的数据执行预测，并根据每棵树在训练数据上的准确率来对其性能进行加权。
因为算法在纠正错误上投入了如此多的精力，所以删除数据中的异常值在数据清洗过程当中是很是重要的。