李开复：该算法的重要性



算法是计算机科学中最重要的基石之一，可是，国内多家程序猿冷落。

不少学生看到一些公司在招聘时要求的编程语言五花八门就产生了一种误解， 以为学计算机就是学各类编程语言，或者以为，学习最新的语言、技术、标准就是最好的铺路方法。

事实上你们都被这些公司误导了。

编程语言尽管该学，但是学习计 算机算法和理论更重要。因为计算机算法和理论更重要。因为计算机语言和开发平台突飞猛进，但万变不离其宗的是那些算法和理论，好比数据结构、算法、编译原 理、计算机体系结构、关系型数据库原理等等。

在“开复学生网”上，有位同窗生动地把这些基础课程比拟为“内功”，把新的语言、技术、标准比拟为“外功”。 成天赶时髦的人最后仅仅懂得招式。没有功力，是不可能成为高手的。

算法与我

　　当我在1980年转入计算机科学系时，尚未多少人的专业方向是计算机科学。有更多系的人嘲笑咱们说：“知道为何仅仅有大家系要加一个‘科 学 ’，而没有‘物理科学系’或‘化学科学系’吗？因为人家是真的科学。不需要多此一举。而大家本身心虚。生怕不‘科学’，才这样此地无银三百两。”事实上。这点他们 完全弄错了。真正学懂计算机的人（不只仅是“编程匠”）都对数学有至关的造诣，既能用科学家的严谨思惟来求证。也能用project师的务实手段来解决这个问题——而这样的 思惟和手段的最佳演绎就是“算法”。

　　记得我读博时写的Othello对弈软件得到了世界冠军。当时，得第二名的人以为我是靠侥幸才打赢他，不服气地问个人程序平均每秒能搜索多少步 棋。当他发现个人软件在搜索效率上比他快60多倍时。才完全服输。为何在相同的机器上，我能够多作60倍的工做呢？这是因为我用了一个最新的算法。能够 把一个指数函数转换成四个近似的表，仅仅要用常数时间就可获得近似的答案。

在这个样例中。是否用对算法才是是否能赢得世界冠军的关键。

　　还记得1988年贝尔实验室副总裁亲自来訪问个人学校，目的就是为了想了解为何他们的语音识别系统比我开发的慢几十倍。而且，在扩大至大词汇 系统后，速度差别更有几百倍之多。他们尽管买了几台超级计算机。勉强让系统跑了起来，但这么贵的计算资源让他们的产品部门很是反感，因为“昂贵”的技术是没 有应用前景的。

在与他们探讨的过程当中，我吃惊地发现一个O(n*m)的动态规划(dynamic?programming)居然被他们作成了O (n*n*m)。

更吃惊的是，他们还为此发表了很多文章，甚至为本身的算法起了一个很是特别的名字，并将算法提名到一个科学会议里，但愿能获得大奖。

当时。 贝尔实验室的研究员固然绝顶聪明，但他们全都是学数学、物理或电机出身，从未学过计算机科学或算法，才犯了这么主要的错误。

我想那些人之后不再会嘲笑学 计算机科学的人了吧！

网络时代的算法

　　有人或许会说：“今天计算机这么快。算法还重要吗？”事实上永远不会有太快的计算机，因为咱们总会想出新的应用。尽管在摩尔定律的做用下。计算机 的计算能力每一年都在飞快增加。价格也在不断降低。可咱们不要忘记，需要处理的信息量更是呈指数级的增加。

现在每人天天都会创造出大量数据（照片，视频。语 音。文本等等）。日益先进的纪录和存储手段使咱们每个人的信息量都在爆炸式的增加。互联网的信息流量和日志容量也在飞快增加。在科学研究方面，随着研究手 段的进步，数据量更是达到了史无前例的程度。无论是三维图形、海量数据处理、机器学习、语音识别，都需要极大的计算量。在网络时代。愈来愈多的挑战需要靠 卓越的算法来解决。

　　再举还有一个网络时代的样例。在互联网和手机搜索，假设要找附近的咖啡店，那么搜索引擎该怎么处理这个请求呢？最简单的办法就是把整个城市的咖啡 馆都找出来。而后计算出它们的所在位置与你之间的距离，再进行排序，而后返回近期的结果。但该怎样计算距离呢？图论里有很多算法可以解决问题。

　　这么作或许是最直观的，但绝对不是最迅速的。

假设一个城市仅仅有为数很少的咖啡馆，那么这么作应该没什么问题，反正计算量不大。

但假设一个城市里有很是多咖啡馆，又有很是多用户都需要相似的搜索，那么server所承受的压力就大多了。

在这样的状况下，咱们该如何优化算法呢？

　　首先，咱们可以把整个城市的咖啡馆作一次“预处理”。

比方，把一个城市分红若干个“格子(grid)”，而后依据用户所在的位置把他放到某一个格子里。仅仅对格子里的咖啡馆进行距离排序。

　　问题又来了，假设格子大小同样。那么绝大多数结果均可能出现在市中心的一个格子里，而郊区的格子里仅仅有极少的结果。

在这样的状况下，咱们应该把市 中心多分出几个格子。更进一步，格子应该是一个“树结构”，最顶层是一个大格——整个城市，而后逐层降低，格子愈来愈小。这样有利于用户进行精确搜索—— 假设在最底层的格子里搜索结果很少，用户可以逐级上升，放大搜索范围。

　　上述算法对咖啡馆的样例很是有用。但是它具备通用性吗？答案是否认的。把咖啡馆抽象一下。它是一个“点”，假设要搜索一个“面”该怎么办呢？比 如，用户想去一个水库玩。而一个水库有好几个入口，那么哪个离用户近期呢？这个时候，上述“树结构”就要改为“r-tree”，因为树中间的每一个节点 都是一个范围，一个有边界的范围（參考:http://www.cs.umd.edu/~hjs/rtrees/index.html ）。

　　经过这个小样例。咱们看到。应用程序的要求变幻无穷，很是多时候需要把一个复杂的问题分解成若干简单的小问题，而后再选用合适的算法和数据结构。

并行算法：Google的核心优点

　　上面的样例在Google里就要算是小case了！

天天Google的站点要处理十亿个以上的搜索。GMail要储存几千万用户的2G邮箱， Google?

Earth要让数十万用户同一时候在整个地球上遨游。并将合适的图片通过互联网提交给每个用户。假设没有好的算法。这些应用都没法成为现实。

　　在这些的应用中。哪怕是最主要的问题都会给传统的计算带来很是大的挑战。好比，天天都有十亿以上的用户訪问Google的站点。使用Google 的服务，也产生很是多很是多的日志(Log)。

因为Log每份每秒都在飞速添加，咱们必须有聪明的办法来进行处理。我之前在面试中问过关于怎样对Log进行一 些分析处理的问题，有很是多面试者的回答尽管在逻辑上正确。但是实际应用中是差点儿不可行的。依照它们的算法。即使用上几万台机器。咱们的处理速度都根不上数 据产生的速度。

那么Google是怎样解决这些问题的？

　　首先，在网络时代，就算有最好的算法，也要能在并行计算的环境下执行。在Google的数据中心。咱们使用的是超大的并行计算机。但传统的并行 算法执行时，效率会在添加机器数量后迅速减小，也就是说，十台机器假设有五倍的效果。添加到一千台时或许就仅仅有几十倍的效果。这样的事半功倍的代价是没有哪 家公司可以负担得起的。而且，在不少并行算法中，仅仅要一个结点犯错误，所有计算都会前功尽弃。

　　那么Google是怎样开发出既有效率又能容错的并行计算的呢？

　　Google最资深的计算机科学家Jeff?Dean认识到。Google所需的绝大部分数据处理都可以归结为一个简单的并行算法：Map?

and?Reduce（http://labs.google.com/papers/mapreduce.html ）。 这个算法能够在很是多种计算中达到至关高的效率，而且是可扩展的（也就是说，一千台机器就算不能达到一千倍的效果，至少也能够达到几百倍的效果）。 Map?and?

Reduce的另一大特点是它能够利用大批便宜的机器组成功能强大的server?

farm。最后，它的容错性能异常出色。就算一个 server?farm宕掉一半，整个fram依旧能够执行。

正是因为这个天才的认识。才有了Map?and?

Reduce算法。借助该算法。 Google差点儿能无限地添加计算量。与突飞猛进的互联网应用一同成长。

算法并不局限于计算机和网络

　　举一个计算机领域外的样例：在高能物理研究方面，很是多实验每秒钟都能几个TB的数据量。

但因为处理能力和存储能力的不足。科学家不得不把绝大部 分未经处理的数据丢弃掉。可你们要知道，新元素的信息很是有可能就藏在咱们来不及处理的数据里面。相同的，在其它不论什么领域里。算法可以改变人类的生活。好比 人类基因的研究。就可能因为算法而发明新的医疗方式。在国家安全领域。有效的算法可能避免下一个911的发生。

在气象方面，算法可以更好地预測将来天灾的 发生，以解救生命。

　　因此，假设你把计算机的发展放到应用和数据飞速增加的大环境。你会找到。该算法的重要性不是在日益减小，但在日益增强。