[转] 人工智能之机器学习路线图

 

人工智能之机器学习路线图

标签： 机器学习计算机iphone算法

2016-09-07 23:21 6197人阅读 评论(2) 收藏 举报

 

目录(?)[+]

 

1. 引言

也许你和这个叫『机器学习』的家伙一点也不熟，可是你举起iphone手机拍照的时候，早已习惯它帮你框出人脸；也天然而然点开今日头条推给你的新闻；也习惯逛淘宝点了找类似以后货比三家；亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩，这些功能的核心算法就是机器学习领域的内容。

套用一下大神们对机器学习的定义，机器学习研究的是计算机怎样模拟人类的学习行为，以获取新的知识或技能，并从新组织已有的知识结构使之不断改善自身。简单一点说，就是计算机从数据中学习出规律和模式，以应用在新数据上作预测的任务。近年来互联网数据大爆炸，数据的丰富度和覆盖面远远超出人工能够观察和总结的范畴，而机器学习的算法能指引计算机在海量数据中，挖掘出有用的价值，也使得无数学习者为之着迷。

可是越说越以为机器学习有距离感，云里雾里高深莫测，咱们不是专家，但提及算有一些从业经验，作过一些项目在实际数据上应用机器学习。这一篇就咱们的经验和各位同仁的分享，总结一些对于初学者入门有帮助的方法和对进阶有用的资料。

2. 机器学习关注问题

并不是全部的问题都适合用机器学习解决(不少逻辑清晰的问题用规则能很高效和准确地处理)，也没有一个机器学习算法能够通用于全部问题。我们先来了解了解，机器学习，到底关心和解决什么样的问题。

从功能的角度分类，机器学习在必定量级的数据上，能够解决下列问题：

1.分类问题

根据数据样本上抽取出的特征，断定其属于有限个类别中的哪个。好比： 
垃圾邮件识别(结果类别：一、垃圾邮件 二、正常邮件) 
文本情感褒贬分析(结果类别：一、褒 二、贬) 
图像内容识别识别(结果类别：一、喵星人 二、汪星人 三、人类 四、草泥马 五、都不是)。

2.回归问题

根据数据样本上抽取出的特征，预测一个连续值的结果。好比： 
星爷《美人鱼》票房 
大帝都2个月后的房价 
隔壁熊孩子一天来你家几回，宠幸你多少玩具

3.聚类等问题

根据数据样本上抽取出的特征，让样本抱抱团(相近/相关的样本在一团内)。好比： 
google的新闻分类 
用户群体划分 
咱们再把上述常见问题划到机器学习最典型的2个分类上。

分类与回归问题须要用已知结果的数据作训练，属于“监督学习” 
聚类的问题不须要已知标签，属于“非监督学习”。

若是在IT行业(尤为是互联网)里溜达一圈，你会发现机器学习在如下热点问题中有普遍应用：

1.计算机视觉

典型的应用包括：人脸识别、车牌识别、扫描文字识别、图片内容识别、图片搜索等等。

2.天然语言处理

典型的应用包括：搜索引擎智能匹配、文本内容理解、文本情绪判断，语音识别、输入法、机器翻译等等。

3.社会网络分析

典型的应用包括：用户画像、网络关联分析、欺诈做弊发现、热点发现等等。

4.推荐

典型的应用包括：虾米音乐的“歌曲推荐”，某宝的“猜你喜欢”等等。

3. 入门方法与学习路径

OK，不废话，直接切重点丢干货了。看似学习难度大，曲线陡的机器学习，对大多数入门者也有一个比较通用的学习路径，也有一些优秀的入门资料能够下降你们的学习门槛，同时激发咱们的学习乐趣。

简单说来，大概的一个学习路径以下 

简单说一点，之因此最左边写了『数学基础』『典型机器学习算法』『编程基础』三个并行的部分，是由于机器学习是一个将数学/算法理论和工程实践紧密结合的领域，须要扎实的理论基础帮助引导数据分析与模型调优，同时也须要精湛的工程开发能力去高效化地训练和部署模型和服务。

须要多说一句的是，在互联网领域从事机器学习的人，有2类背景的人比较多，其中一部分(很大一部分)是程序员出身，这类同窗工程经验相对会多一些，另外一部分是学数学统计领域的同窗，这部分同窗理论基础相对扎实一些。所以对比上图，2类同窗入门机器学习，所欠缺和须要增强的部分是不同的。

下面就上述图中的部分，展开来分别扯几句：

3.1 数学基础

有无数激情满满大步向前，誓要在机器学习领域有一番做为的同窗，在看到公式的一刻忽然就以为本身狗带了。是啊，机器学习之因此相对于其余开发工做，更有门槛的根本缘由就是数学。每个算法，要在训练集上最大程度拟合同时又保证泛化能力，须要不断分析结果和数据，调优参数，这须要咱们对数据分布和模型底层的数学原理有必定的理解。所幸的是若是只是想合理应用机器学习，而不是作相关方向高精尖的research，须要的数学知识啃一啃仍是基本能理解下来的。至于更高深的部分，恩，博主很是愿意认可本身是『数学渣』。

基本全部常见机器学习算法须要的数学基础，都集中在微积分、线性代数和几率与统计当中。下面咱们先过一过知识重点，文章的后部分会介绍一些帮助学习和巩固这些知识的资料。

3.1.1 微积分

微分的计算及其几何、物理含义，是机器学习中大多数算法的求解过程的核心。好比算法中运用到梯度降低法、牛顿法等。若是对其几何意义有充分的理解，就能理解“梯度降低是用平面来逼近局部，牛顿法是用曲面逼近局部”，可以更好地理解运用这样的方法。 
凸优化和条件最优化 的相关知识在算法中的应用随处可见，若是能有系统的学习将使得你对算法的认识达到一个新高度。

3.1.2 线性代数

大多数机器学习的算法要应用起来，依赖于高效的计算，这种场景下，程序员GG们习惯的多层for循环一般就行不通了，而大多数的循环操做可转化成矩阵之间的乘法运算，这就和线性代数有莫大的关系了 
向量的内积运算更是随处可见。 
矩阵乘法与分解在机器学习的主成分分析（PCA）和奇异值分解（SVD） 等部分呈现刷屏状地出现。

3.1.3 几率与统计

从广义来讲，机器学习在作的不少事情，和统计层面数据分析和发掘隐藏的模式，是很是相似的。

极大似然思想、贝叶斯模型 是理论基础，朴素贝叶斯(Naïve Bayes )、语言模型(N-gram)、隐马尔科夫（HMM）、隐变量混合几率模型是他们的高级形态。 
常见分布如高斯分布是混合高斯模型(GMM)等的基础。

3.2 典型算法

绝大多数问题用典型机器学习的算法都能解决，粗略地列举一下这些方法以下：

处理分类问题的经常使用算法包括：逻辑回归(工业界最经常使用)，支持向量机，随机森林，朴素贝叶斯(NLP中经常使用)，深度神经网络(视频、图片、语音等多媒体数据中使用)。 
处理回归问题的经常使用算法包括：线性回归，普通最小二乘回归（Ordinary Least Squares Regression），逐步回归（Stepwise Regression），多元自适应回归样条（Multivariate Adaptive Regression Splines） 
处理聚类问题的经常使用算法包括：K均值（K-means），基于密度聚类，LDA等等。 
降维的经常使用算法包括：主成分分析（PCA）,奇异值分解（SVD） 等。 
推荐系统的经常使用算法：协同过滤算法 
模型融合(model ensemble)和提高(boosting)的算法包括：bagging，adaboost，GBDT，GBRT 
其余很重要的算法包括：EM算法等等。 
咱们多插一句，机器学习里所说的“算法”与程序员所说的“数据结构与算法分析”里的“算法”略有区别。前者更关注结果数据的召回率、精确度、准确性等方面，后者更关注执行过程的时间复杂度、空间复杂度等方面。 。固然，实际机器学习问题中，对效率和资源占用的考量是不可或缺的。

3.3 编程语言、工具和环境

看了无数的理论与知识，总归要落到实际动手实现和解决问题上。而没有工具全部的材料和框架、逻辑、思路都给你，也步履维艰。所以咱们仍是得须要合适的编程语言、工具和环境帮助本身在数据集上应用机器学习算法，或者实现本身的想法。对初学者而言，Python和R语言是很好的入门语言，很容易上手，同时又活跃的社区支持，丰富的工具包帮助咱们完成想法。相对而言，彷佛计算机相关的同窗用Python多一些，而数学统计出身的同窗更喜欢R一些。咱们对编程语言、工具和环境稍加介绍：

3.3.1 python

python有着全品类的数据科学工具，从数据获取、数据清洗到整合各类算法都作得很是全面。

网页爬虫: scrapy 
数据挖掘: 
pandas：模拟R，进行数据浏览与预处理。 
numpy：数组运算。 
scipy：高效的科学计算。 
matplotlib：很是方便的数据可视化工具。 
机器学习: 
scikit-learn：远近闻名的机器学习package。未必是最高效的，可是接口真心封装得好，几乎全部的机器学习算法输入输出部分格式都一致。而它的支持文档甚至能够直接当作教程来学习，很是用心。对于不是很是高纬度、高量级的数据，scikit-learn胜任得很是好(有兴趣能够看看sklearn的源码，也颇有意思)。 
libsvm：高效率的svm模型实现(了解一下颇有好处，libsvm的系数数据输入格式，在各处都很是常见) 
keras/TensorFlow：对深度学习感兴趣的同窗，也能很方便地搭建本身的神经网络了。 
天然语言处理: 
nltk：天然语言处理的相关功能作得很是全面，有典型语料库，并且上手也很是容易。 
交互式环境： 
ipython notebook：能直接打通数据到结果的通道，方便至极。强力推荐。

3.3.2 R

R最大的优点是开源社区，汇集了很是多功能强大可直接使用的包，绝大多数的机器学习算法在R中都有完善的包可直接使用，同时文档也很是齐全。常见的package包括：RGtk2, pmml, colorspace, ada, amap, arules, biclust, cba, descr, doBy, e1071, ellipse等等。另外，值得一提的是R的可视化效果作得很是不错，而这对于机器学习是很是有帮助的。

3.3.3 其余语言

相应资深程序员GG的要求，再补充一下Java和C++相关机器学习package。

Java系列

WEKA Machine Learning Workbench 至关于java中的scikit-learn 
其余的工具如Massive Online Analysis（MOA）、MEKA 、 Mallet 等也很是有名。 
更多详细的应用请参考这篇文章《25个Java机器学习工具&库》

C++系列

mlpack，高效同时可扩充性很是好的机器学习库。 
Shark：文档齐全的老牌C++机器学习库。

3.3.4 大数据相关

Hadoop：基本上是工业界的标配了。通常用来作特征清洗、特征处理的相关工做。 
Spark：提供了MLlib这样的大数据机器学习平台，实现了不少经常使用算法。但可靠性、稳定性上有待提升。

3.3.5 操做系统

mac和Linux会方便一些，而windows在开发中略显力不从心。所谓方便，主要是指的mac和linux在下载安装软件、配置环境更快捷。 
对于只习惯windows的同窗，推荐anaconda，一步到位安装完python的全品类数据科学工具包。

3.4 基本工做流程

以上咱们基本具有了机器学习的必要条件，剩下的就是怎么运用它们去作一个完整的机器学习项目。其工做流程以下:

3.4.1 抽象成数学问题

明确问题是进行机器学习的第一步。机器学习的训练过程一般都是一件很是耗时的事情，胡乱尝试时间成本是很是高的。 
这里的抽象成数学问题，指的咱们明确咱们能够得到什么样的数据，目标是一个分类仍是回归或者是聚类的问题，若是都不是的话，若是划归为其中的某类问题。

3.4.2 获取数据

数据决定了机器学习结果的上限，而算法只是尽量逼近这个上限。 
数据要有表明性，不然必然会过拟合。 
并且对于分类问题，数据偏斜不能过于严重，不一样类别的数据数量不要有数个数量级的差距。 
并且还要对数据的量级有一个评估，多少个样本，多少个特征，能够估算出其对内存的消耗程度，判断训练过程当中内存是否可以放得下。若是放不下就得考虑改进算法或者使用一些降维的技巧了。若是数据量实在太大，那就要考虑分布式了。

3.4.3 特征预处理与特征选择

良好的数据要可以提取出良好的特征才能真正发挥效力。 
特征预处理、数据清洗是很关键的步骤，每每可以使得算法的效果和性能获得显著提升。归一化、离散化、因子化、缺失值处理、去除共线性等，数据挖掘过程当中不少时间就花在它们上面。这些工做简单可复制，收益稳定可预期，是机器学习的基础必备步骤。 
筛选出显著特征、摒弃非显著特征，须要机器学习工程师反复理解业务。这对不少结果有决定性的影响。特征选择好了，很是简单的算法也能得出良好、稳定的结果。这须要运用特征有效性分析的相关技术，如相关系数、卡方检验、平均互信息、条件熵、后验几率、逻辑回归权重等方法。

3.4.4 训练模型与调优

直到这一步才用到咱们上面说的算法进行训练。如今不少算法都可以封装成黑盒供人使用。可是真正考验水平的是调整这些算法的（超）参数，使得结果变得更加优良。这须要咱们对算法的原理有深刻的理解。理解越深刻，就越能发现问题的症结，提出良好的调优方案。

3.4.5 模型诊断

如何肯定模型调优的方向与思路呢？这就须要对模型进行诊断的技术。

过拟合、欠拟合 判断是模型诊断中相当重要的一步。常见的方法如交叉验证，绘制学习曲线等。过拟合的基本调优思路是增长数据量，下降模型复杂度。欠拟合的基本调优思路是提升特征数量和质量，增长模型复杂度。 
偏差分析 也是机器学习相当重要的步骤。经过观察偏差样本，全面分析偏差产生偏差的缘由:是参数的问题仍是算法选择的问题，是特征的问题仍是数据自己的问题…… 
诊断后的模型须要进行调优，调优后的新模型须要从新进行诊断，这是一个反复迭代不断逼近的过程，须要不断地尝试， 进而达到最优状态。

3.4.6 模型融合

通常来讲，模型融合后都能使得效果有必定提高。并且效果很好。 
工程上，主要提高算法准确度的方法是分别在模型的前端（特征清洗和预处理，不一样的采样模式）与后端（模型融合）上下功夫。由于他们比较标准可复制，效果比较稳定。而直接调参的工做不会不少，毕竟大量数据训练起来太慢了，并且效果难以保证。

3.4.7 上线运行

这一部份内容主要跟工程实现的相关性比较大。工程上是结果导向，模型在线上运行的效果直接决定模型的成败。 不单纯包括其准确程度、偏差等状况，还包括其运行的速度(时间复杂度)、资源消耗程度（空间复杂度）、稳定性是否可接受。 
这些工做流程主要是工程实践上总结出的一些经验。并非每一个项目都包含完整的一个流程。这里的部分只是一个指导性的说明，只有你们本身多实践，多积累项目经验，才会有本身更深入的认识。

3.5 关于积累项目经验

初学机器学习可能有一个误区，就是一上来就陷入到对各类高大上算法的追逐当中。动不动就我能不能用深度学习去解决这个问题啊？我是否是要用boosting算法作一些模型融合啊？我一直持有一个观点，『脱离业务和数据的算法讨论是毫无心义的』。

实际上按咱们的学习经验，从一个数据源开始，即便是用最传统，已经应用多年的机器学习算法，先完整地走完机器学习的整个工做流程，不断尝试各类算法深挖这些数据的价值，在运用过程当中把数据、特征和算法搞透，真正积累出项目经验 才是最快、最靠谱的学习路径。

那如何获取数据和项目呢？一个捷径就是积极参加国内外各类数据挖掘竞赛，数据直接下载下来，按照竞赛的要求去不断优化，积累经验。国外的Kaggle和国内的DataCastle 以及阿里天池比赛都是很好的平台，你能够在上面获取真实的数据和数据科学家们一块儿学习和进行竞赛，尝试使用已经学过的全部知识来完成这个比赛自己也是一件颇有乐趣的事情。和其余数据科学家的讨论能开阔视野，对机器学习算法有更深层次的认识。

有意思的是，有些平台，好比阿里天池比赛，甚至给出了从数据处理到模型训练到模型评估、可视化到模型融合加强的所有组件，你要作的事情只是参与比赛，获取数据，而后使用这些组件去实现本身的idea便可。具体内容能够参见阿里云机器学习文档。

3.6 自主学习能力

多几句嘴，这部份内容和机器学习自己没有关系，可是咱们以为这方面的能力对于任何一种新知识和技能的学习来讲都是相当重要的。 自主学习能力提高后，意味着你可以跟据本身的状况，找到最合适的学习资料和最快学习成长路径。

3.6.1 信息检索过滤与整合能力

对于初学者，绝大部分须要的知识经过网络就能够找到了。

google搜索引擎技巧——组合替换搜索关键词、站内搜索、学术文献搜索、PDF搜索等——都是必备的。

一个比较好的习惯是找到信息的原始出处，如我的站、公众号、博客、专业网站、书籍等等。这样就可以找到系统化、不失真的高质量信息。

百度搜到的技术类信息不够好，建议只做为补充搜索来用。各类搜索引擎均可以交叉着使用效果更好。

学会去常见的高质量信息源中搜索东西:stackoverflow（程序相关）、quora（高质量回答）、wikipedia（系统化知识，比某某百科不知道好太多）、知乎（中文、有料）、网盘搜索（免费资源一大把）等。

将搜集到的网页放到分类齐全的云端收藏夹里，并常常整理。这样不管在公司仍是在家里，在电脑前仍是在手机上，都可以找到本身喜欢的东西。

搜集到的文件、代码、电子书等等也放到云端网盘里，并常常整理。

3.6.2 提炼与总结能力

常常做笔记，并总结本身学到的知识是成长的不二法门。其实主要的困难是懒，可是坚持以后总能发现知识的共性，就能少记一些东西，掌握得更多。

笔记建议放到云端笔记里，印象笔记、为知笔记都还不错。这样在坐地铁、排队等零碎的时间都能看到笔记并继续思考。

3.6.3 提问与求助能力

机器学习的相关QQ群、论坛、社区一大堆。总有人知道你问题的答案。

可是大多数同窗都很忙，无法像家庭教师那样手把手告诉你怎么作。

为了让回答者最快明白你的问题，最好该学会正确的问问题的方式:陈述清楚你的业务场景和业务需求是什么，有什么已知条件，在哪一个具体的节点上遇到困难了，并作过哪些努力。

有一篇经典的文章告诉你怎样经过提问得到帮助：《提问的智慧》，强力推荐。 话锋犀利了些，但里面的干货仍是很好的。

别人帮助你的可能性与你提问题的具体程度和重要性呈指数相关。

3.6.4 分享的习惯

咱们深信：“证实本身真的透彻理解一个知识，最好的方法，是给一个想了解这个内容的人，讲清楚这个内容。” 分享可以最充分地提高本身的学习水平。这也是咱们坚持长期分享最重要的缘由。

分享还有一个副产品，就是本身在求助的时候可以得到更多的帮助机会，这也很是重要。

4. 相关资源推荐

文章的最后部分，咱们继续放送干货。其实机器学习的优质资源很是多。博主也是翻遍浏览器收藏夹，也问同事取了取经，整合了一部分资源罗列以下：

4.1 入门资源

首先coursera 是一个很是好的学习网站，集中了全球的精品课程。上述知识学习的过程均可以在上面找到合适的课程。也有不少其余的课程网站，这里咱们就须要学习的数学和机器学习算法推荐一些课程(有一些课程有中文字幕，有一些只有英文字幕，有一些甚至没有字幕，你们根据本身的状况调整，若是不习惯英文，基础部分有不少国内的课程也很是优质)：

微积分相关

Calculus: Single Variable 
Multivariable Calculus

线性代数

Linear Algebra 
几率统计 
Introduction to Statistics: Descriptive Statistics 
Probabilistic Systems Analysis and Applied Probability

编程语言

Programming for Everybody:Python 
DataCamp: Learn R with R tutorials and coding challenges:R

机器学习方法

Statistical Learning(R) 
machine learning：强烈推荐，Andrew Ng老师的课程

机器学习基石

机器学习技术：林轩田老师的课相对更有深度一些，把做业作完会对提高对机器学习的认识。 
天然语言处理:斯坦福大学课程 
平常阅读的资源 
@爱可可-爱生活的微博 机器学习日报的邮件订阅 等。