机器学习：新手入门概览（一）

机器学习：新手入门概览（一）

定义

百度百科定义：

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及几率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，从新组织已有的知识结构使之不断改善自身的性能。 它是人工智能的核心，是使计算机具备智能的根本途径，其应用遍布人工智能的各个领域，它主要使用概括、综合而不是演绎。

分类

一般分为有监督学习(supervised Learning)和无监督学习(unsupervised Learning)。 从 Andrew Ng 与 Geoffrey Hinton 的访谈录像中，Hinton 提到无监督学习一直是科学家们所追逐的最终目标，但目前困难重重，仅就当前来看，监督学习发展的更为迅速，所涌现的科研成果也更为丰富。

应用领域

最主要的应用领域有：专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图象识别、故障诊断、天然语言理解、机器人和博弈等领域。

其中图像识别属于计算机视觉(Computer Vision, CV)领域，当前流行的卷积神经网络（Convolutional Nerual Network, CNN）等深度学习算法并不是 CV 领域一直使用的算法，而是在深度神经网络 AlexNet 等模型表现极为出色以后，才被众人承认。自此，机器学习在 CV 领域的应用才全面发展起来。

博弈领域的问题以加强学习(Reinforcement Learning, RL)为主要算法，著名模型为 AlphaGO。其中涉及的算法有深度神经网络（Deep Neural Network, DNN）（其中包含 CNN 和其它类型的深度神经网络），蒙特卡洛方法，Q-learning等，其中前二者在有大量数据的状况下表现突出。

天然语言处理(Natural Language Processing, NLP)中包含自动分词，句法/词性分析，天然语言生成，机器翻译等领域，其中循环神经网络（Recurrent Neural Network, RNN）在机器翻译中表现出了强大的能力。

学术

因为近年机器学习发展速度极快，相对于学术期刊，国际学术会议中的各种论文更新更快，所以各种与机器学习相关的会议很是值得关注。

顶级或者高水平会议：
机器学习领域：ICML, NIPS,COLT,ECML
计算机视觉与机器学习混合：CVPR,ICCV,ECCV
机器学习与数据挖掘大杂烩：AAAI,IJCAI
主要是数据挖掘领域：KDD,SDM,ICDM
其余机器学习领域比较知名的：UAI,AISTATS
其余数据挖掘领域比较知名的：CIKM,PKDD
主要是数据库方向的，部分包含机器学习与数据挖掘：SIGMOD,VLDB，ICDE
交叉领域：WWW,SIGIR
顶级或者高水平期刊：
机器学习相关领域：
TPAMI, IJCV,JMLR
数据挖掘相关领域：
TKDE,TKDD,TIST,TODS,TOIS,KIS
做者：知乎用户
连接：https://www.zhihu.com/question/20224890/answer/136485243
来源：知乎

经常使用模型

这里提到的只是其中一部分机器学习模型及算法，主要是监督学习的模型。

线性回归 Linear Regression

计算与目标函数的偏差，经过不断调整参数来减少偏差。一般分为两个主要函数：

1. 偏差（损失）函数(loss function)：经常使用的函数为 mse（mean squared error function）
2. 优化函数（optimizer）：包括梯度降低算法（Gradient Descent），牛顿法，以及衍生出的如 sgd(Stochastic Gradient Descent)，Levenberg–Marquardt算法等等。

而在梯度降低算法等优化函数中，须要根据具体问题进行超参数（Hyperparameter）的调整，如学习速率(Learning Rate)决定了算法降低的快慢以及可否找到全局最优值。这一点在以后的神经网络中有更多相关的算法与讨论，但并无可靠的公式能够依赖，多数依靠经验来作出判断和调整，这也是机器学习有时被称为“炼丹”的缘由之一。

逻辑回归 Logistic Regression

在线性回归的基础上进行改造，整体上架构相似，只是在最后的输出时加入激活函数(Activation Function)。在最后的输出效果上，二项分类中最后输出的是 1 或 0，表示是否。而多项分类输出的是一个维度为类别数量 n 的（或 n+1 多出的一个元素在目标不属于任何类别时为 1）向量，如[0 0 1 0 0]。

1. 损失函数： 交叉熵损失函数(cross entropy loss function)
2. 激活函数： 经常使用的激活函数有 sigmoid 函数（用于二项分类），softmax 函数（用于多项分类）。

多项分类有时也称为 softmax 回归

sigmoid 函数图像——引用来源：百度百科

支持向量机 Support Vector Machine

简单来说即为将低维度中看起来不可分的样本，映射至高维度空间之中，而后使得样本变得可分。而在向高维度的映射过程当中，SVM 借助核函数的特性在映射的同时避免了随着而来的高计算代价，于是在分类问题中表现良好。
在知乎的回答中，不少人的图例解释的很清楚。

图片引用来源：知乎 https://www.zhihu.com/question/21094489

决策树 Decision Tree

决策树(Decision Tree）是在已知各类状况发生几率的基础上，经过构成决策树来求取净现值的指望值大于等于零的几率，评价项目风险，判断其可行性的决策分析方法，是直观运用几率分析的一种图解法。因为这种决策分支画成图形很像一棵树的枝干，故称决策树。——百度百科

其中改进的算法还有随机森林（Random Forest） 算法等，其中随机森林由多个决策树组成，依旧是一种预测分类器。

神经网络 Neural Network

机器学习中的神经网络指的其实是前馈神经网络（Feedforward Neural Network）,所谓前馈，是指在模型的运算过程当中，后层的神经元只接收前面神经元的输入信息，而不会当即给予反馈。神经网络由三个部分组成：输入层，隐藏层和输出层。而其中最为复杂多变的是隐藏层，经过隐藏层中不一样的链接方式，组成了各种复杂的神经网络。神经网络自己的厉害之处，笔者认为，是特征的自行提取，随着网络的一步步深刻，所提取的特征也从低级特征逐渐变为高级特征，这也是很多的 CNN 网络能够用来迁移学习的缘由之一。

例如，当神经网络识别一只猫的图像时，低层神经层提取的是猫的颜色、边沿等低级特征，往上一层以后，这些特征会进行组合，变为了三角形、四边形，再往上，会逐渐变成眉毛、嘴巴等人类可识别的特征。在真实状况中可能与例子不彻底同样，但性质是相似的。

更多关于神经网络的例子与解释，还能够参考个人另外一篇文章。

图片来源：https://user-gold-cdn.xitu.io/2018/1/10/160e06eadc4d24f8?w=500&h=274&f=png&s=65767

神经网络的深浅

关于神经网络的层数与深度，据笔者所知，暂时没有一个较为明确的定义。但通常来说，深度神经网络的隐藏层至少在两层以上，随之而来的各类技巧与最初的神经网络也有较大的不一样，总体来讲，无需纠结于深浅的区分。

神经网络的组成

一般来说，最基本的神经网络的公式中有三个基本参数, a, w 与 b。其中 a 是指的神经元的值， w 为权重（weights）， 而 b 是偏置参数（bias）。除了这三个重要参数以外，还有 g 表示激活函数，因此后一层的值可经过 g(aw + b) 获得。

神经网络的反向传播算法

正是反向传播(Back Propogation, BP)算法的出现，解决了多层神经网络的隐含层权重等问题。BP 算法的基本原理为根据计算得出的损失函数(loss function) ，使用优化函数(optimize function)对各个神经元的权重进行调整，进而使得输出结果拟合最终结果。

神经网络的激活函数

激活函数的意义： 经常有人说，没有激活函数的神经网络就是个悲剧。是由于神经网络模型自己，在没有激活函数时，只能解决线性问题，而对于非线性分类，则是无能为力的。而在加入了激活函数以后，模型具备了解决非线性问题的能力，可以处理的问题也大大增多。

常见激活函数： 有以前提到的sigmoid函数，softmax函数，以及tanh函数，还有著名的 ReLu函数，它的出现大大加快了深度神经网络训练的速度。还有 RMSprop函数以及 Adam 函数，它们的出如今必定程度上消除了优化过程当中算法来回摆动的问题。以后还有Adam衍生出的其余激活函数。

激活函数在神经网络中的表示： 激活函数自己，在神经网络中也是一层神经层，只不过只是对前面一层的结果套用激活函数进行处理，而后将结果直接传入下一层。