高性能计算（HPC） 2011总结与2012展望

 今天是2011年最后一个周五，倒数第二个工做日，在老美、老欧们本周所有过节失语时，仍是有一些专家（注意不是砖家）教授（注意不是叫兽）仍然在进行年终的总结和下一年的展望，想一想其实咱们比彼岸的那些大佬们幸福，由于元旦事后，中国人的大节才开始接近，和元旦一块儿先后历时整整一个月时间，无意工做啊，就算我等乙方有心，客户们也都张罗着放假了，喜庆的气氛逼近中....  而老美老欧们过完圣诞和元旦就得正式开工了，信基督的庆祝完本身主神的生日，不信基督的趁机放假购物血拼，13薪、14薪.... 27薪的也拿完了，上班吧，所谓西历果真是为西方准备的日历...  那边也会有些过年控会坚持年并无过完，是啊，离财年结束还有一个月时间，但是13薪都发完了，财年还有什么意义呢

回到咱们的主题上来，作为DELL HPC Sr. Advisor，我认为有必要去看一下这个阶段还在工做的美国大佬们的评论，听一听来自HPC的翘首米国的言辞并介绍给各位同仁。

仍是先从TOP500提及吧...

 

上面两张TOP500的统计饼图，左边是按供应商的装机数量统计的结果，右边是按供应商提供系统的总性能统计的结果。这两张图我并不肯意经常使用， 由于DELL在其中的比例实在是不怎么好看，但我历来没为此灰心过（至少DELL都出如今里面 ^_^），用积极的心态去看有两点：一是根据目前的状况，咱们还有大量的上升空间；二是若是看TOP5000的话，DELL的份额会很是之好，固然没有数据仅为推论。SMB是DELL最擅长的市场，而LE是正在攻坚的方向…

本文仍然专一于主流的HPC 供应商和热点话题的分析上，尽管DELL并不属于1st- class的阵营，但并不影响咱们以一个跟随者的目光去研究HPC最上层社会的格局和了解高屋建瓴的谋略与思想，据说始皇帝建国时，刘邦不过是个亭长…

在HPC第一厂商阵营里，除了IBM和HP两位熟客，还有一些看上去并不是主流的IT厂商，从总性能统计图中咱们看到IBM/HP占的比例远小于按系统套数计算的结果，却出现了像Fujitsu/Cray/Bull/Appro/Dawning这样品牌上难以与IBM/HP/DELL抗衡的玩家，几年前甚至还有更偏僻的如Linux Networx这样的来自山沟戈壁里喝风长大的小厂也能分一小块Pizza 走。另外榜单上没法显示却在HPC中有重量级地位的像DDN/Mellanox/PGI/Platform这些没有主机产品（无浮点计算能力啊）却提供重要系统部件如存储、网络、原代码编译器及集群管理调度等组成部分的小众品牌，更有像Lustre/Goto/PBS等少为人知的开源大做， 我早在给你们介绍HPC行业时就说过，HPC看上去很火，实际上是一个剑走偏锋、小俱乐部成员、垂直度很深和为达某些目的而采起极端手段的领域，这和另外一个也很火爆的概念云计算走的路好像正相反….  在你们都开口必称云解决方案，说本身是云俱乐部的重要成员时，上面那些小品牌HPC厂商基本没有这样的言论出现，很低调是吧，的确两个概念目前还没法融合，这很现实….

从统计饼图上看，这些品牌加起来的性能之和已经接近两大巨头，装机数量却少的可怜，如Fujitsu在TOP500榜单上只有四套系统，CRAY的总数也很少，但性能上却加起来接近30%，超过老大哥IBM的27.3%，为何，由于每套系统都是顶级的，这种非主流厂商一年也作不了几个系统，作成一个就是巨无霸，买家是谁，不用问了，基本全是以米国政府为背景的国家实验室、能源部和军方。对了，这里有个奇怪的名字：NUDT，占了4.5%的性能Pizza，其实就靠一套上榜的系统夺得的成绩（很厉害目前排在第二位，之前呢，排在第一，汗...），这谁啊，天朝的国防科大呀，买家呢？不用说，你懂的。这么牛的系统在干什么？一说啥都干忙得不行，二说就为跑个Linpack狂加GPU冲击名次到目前还空在那里。到底怎样，咱不清楚也不便发表言论。 固然，我并无说IBM、HP包括DELL就作不出巨无霸来，事实上，这几家都有各自的顶梁柱系统存在，不会比这些小众品牌作的东西差，但考虑到品牌、资金和规模等综合因素，小众所表现出的专一和与敢与强势品牌对抗的决心，仍是值得整个HPC业界及用户为其鼓掌....   DELL嘛，有时还真很差说是哪一边的....  DELL作得最大的HPC系统是什么，排在TOP500的No. 39位，在老家德州大学的TACC（Texas高级计算中心）的刀片集群系统。注：此德州非我天朝出扒鸡的那个地方，那里有个德州学院是真的，就那小学校也有几套HPC....

说了这么多废话，让咱们切入主题吧，听一听几位美国HPC领域的媒体编辑、调查机构的专员们如何评论HPC这一年的表现和明年的预期，下面的意见和论点来自一段13分钟的英文录音，MP3格式，download from www.hpcwire.com , Download了，有人兴奋吗？

由于是取其论点，必须说起可以听到名字的专家：Michael Feldman和Addison Snell。不要觉得媒体的编辑和独立评论员就不是专家，NBA的全明星球员是谁选出来的，记者。中超的比赛结果谁指定的，领导，固然后来都被抓进去了。因此来自第三方的评论至少是客观公平的，也不乏专业的。受限于我的的英文水平以及原始资料只有录音没有文本，不会放上来逐字逐句的全译文，同时也查阅了其它相关资料，截取概括了对话中的主题意旨，谨为HPC关注者作参考：

 

1. 上来你们say hello，看上去都是老朋友的样子，说些圣诞到了你们还在工做之类的开场白，按下不表。

2. 开始讨论过去一年中的Big Story，所发生的大事件。第一个大事件，被认为是IBM在NCSA的Blue Waters工程中的跳票。 用户是NCSA，即美国国家超级计算应用中心（National Conter for Supercomputing Applications），系统名称为蓝水（Blue Waters），看名字就知道是IBM的业绩，蓝色巨人一直标榜其蓝色因素（但DELL和HP的LOGO也是一样的蓝？），以前的巨做有赢了国际象棋大师的深蓝、劳伦斯利弗莫尔国家实验室的蓝色基因，以及此次的蓝水工程，总之很蓝就是了。蓝水第一期由IBM Power7芯片构成，但到了2011年中期，IBM认为这个项目不赚钱而停止合同，退出了（Walk away），奇怪停止合同难道不受罚的吗？后来NCSA很快又找到了其它的替代者-CRAY，其实还有三家愿意来但未入NCSA法眼而不予公布了。给了CRAY近两亿美金的合同，让其Redo蓝水工程，项目名称不变，只是硬件结构和供应商换了，CRAY很哈皮，说这与其公司发展的愿景很是吻合，又说接管蓝水会带来更多的机会等等，但我我的觉得，IBM又不是傻子，会无缘无故的退出吗？CRAY的接管付出了什么代价又得到了什么潜在的利益，对话中没说，但我找了其它文章，记载了CRAY老大Mr.Ungaro的话，其重点在之后的指望上。这不得不让我想起在国内的各大超级HPC DEAL，哪个不是大伤元气血拼才拿下来的？US，看来也差很少。 接着谈到了CRAY在接管后，二期的蓝水已经改为了X86为主的结构，采用AMD的X86处理器为主，Nvidia Kepler GPU为辅来实现异构计算平台，Kepler GPU是目前Fermi系列M2070/2090的下一代，还在roadmap上没下来，但性能超越Fermi一倍。最后评论员感叹，在米国本身的国家里，IBM都作这样的事，真是即尴尬又不幸啊。我的觉得，有啥不幸的，苹果还忽悠你们一个4S，微软跳票就更是屡见不鲜了，最重要的，用户给的和厂商要的是否匹配？但我也怀疑，米国借全世界的钱买东西，不至于这样小气啊，是否是此次是拿纳税人本身的钱啊？

 

 

3. 下一个大事件，被认为是TOP500的当今的首领：来自日本的Fujitsu K Computer（K用日文写出来就是汉字的“京”）.  先从数字上看一眼这个你们伙，当人们刚刚开始欢呼HPC进入千万亿次（Pflops）的时代不久，K就把这个数字提升了10倍，历史上首次得到了10.5 Petaflops的实测峰值，是第二名的5倍， 比第三名到第十名峰值相加之和还要多，用鹤立鸡群来形容真是太正确不过了，专家预测，K将会在TOP500的榜单上保留第一的位置好久，直到其它的系统大量使用新的GPU来超越它，注意，K Computer中并无使用GPU来辅助或者加速，这又是一个了不得的事情，在Nvidia大肆宣传GPU将取代一切HPC时，K从容的坐在王冠上浇下了一桶冷水。但强大并不表明通用，K的结构几乎彻底不一样于常规的Cluster，采用不少私有的技术和架构，不能像唐骏的文凭同样随意复制和购买。好比其采用的内部互联网络叫作豆腐（Tofu），说是比InfiniBand还快，我想这么奇怪的名字也只有CRAY的双子宫网络（Gemini）可以和之相比了，至于豆腐和双子宫是什么网络系统跑什么协议，有兴趣的朋友能够本身去调查，为何采用这么不通用的硬件，由于要实现不通用的性能和目的，市场上没有现成的，就自个儿造一个，作成了其余人也用不了。记得我先前说得话么：为了达到目的而采用极端手段，私有化的网络就是一个例子。要达到什么目的？很是简单，就是获取高性能计算的能力。 评论说，K Computer在2011年中出现并跑出了很是好的测试数据，实现了第一台10Pflops的系统(万万亿次诞生了，万万亿啊，这么多数，掰手指是数不过来地，找张纸画一堆零吧，1后面16个0，不信的话本身算算)，K及时提供了本年度内日本分析所遭受的地震、海啸和核电站事故所须要的计算力，是一台很是impressive的高性能计算系统。因为出现的时机如及时雨通常，可与另一位TOP108的首领宋江相媲美.... 

4. 再一个大事件，很差意思，没了... 不是没了，其实有不少，但评论就只谈了以上两个，我也不能乱加上去，评论在说完两个大事件后，直接转向HPC发展趋势的分析上（TOP TREND）

5. 说到趋势，评论所谈到第一个主题居然是中国+GPU。Michael刚从北京的Nvidia GPU大会上回来，大会于12月14-15日在鸟巢旁边的国家会议中心举行，若是知道Michael会去(不会是去看鸟巢的吧？)，我怎么也会抽时间到现场和他聊几句再合个影啥的，惋惜被别的事情占了时间。美国人对中国HPC欣欣向荣的市场和快速的发展惊讶不已，说不管是在TOP500的冲顶路上，仍是散落在民间的各类小型HPC系统，都给老美留下的很深的印象。尤为是中国的系统会大量采用GPU这种先进的玩意，太厉害了，从他们的话语间能感到真实的震撼，评论说到，中国就是下一个趋势所在，下一个HPC热点所在。我心想，大家是故意的，仍是装傻骗世界人民呢？中国的HPC硬件水平的确已经到了令全球瞩目的状态，问题是，没有什么核心代码在手上啊。HPC所解决的问题，全是靠计算类代码，或者说软件程序来直接完成的，HPC只是垫在下面的硬件盒子，没有软件代码，HPC系统不过是一个热的发烫的机器而已，除了高碳耗电有啥用啊。我想美国人不是不明白，就是在装可爱，把中国先顶上天去，说多么厉害，再进行制裁限运什么的。看看咱们可怜的国人，不管是哪一个HPC行业，基本全都是在开源代码的基础上进行二次开发，好比和民生相关的天气、医药、汽车、动漫、化工等，和国家实力相关的能源开采、武器制造、环境科学、金融分析、空间探索等，连开源的代码都很差搞到，空有机器跑Linpack，有价值的代码都在米国、日本、法国甚至以色列等国的手里，实在是咱们国家根儿上的痛啊.... 人才在哪里？？没人回答，都移民了....

6. 评论接着上面的话题，很天然的切入GPU在HPC中的应用。首先，GPU出如今HPC中已经不是什么趋势，在以前的两年内，已经有大量的GPU实际应用案例。评论谈到，会有愈来愈多的Vendor参与进来，我想所谓Vendor的概念，应该就是将应用代码转换到GPU平台上的开发者吧。多是专家们认为这个话题已经谈论的太多，就此停止了，没有更多的陈述在GPU上。其实不用说太多，就证实GPU已经足够火了。

7. 下一个TREND，谈到了Lustre并行文件系统。记得我上一篇文章：高性能计算系统的存储选型，最后所谈到的那个文件系统吗？正是这个Lustre，占了TOP100 50%份额的并行文件系统，鼎鼎大名的开源巨做，来自根据卡耐基梅隆大学的算法为美国能源部开发的原始文件系统，Lustre的名字来源于Linux+Cluster。评论先是谈到了对Lustre几乎没有什么贡献却差点扼杀它的正主：Oralce/Sun，Lustre是个开源代码，品牌最开始被CFS公司拥有，SUN买下了CFS获取了Lustre，Oralce后来又买了SUN而继承了Lustre的名誉全部权，但因与Oracle公司的发展路线不符合，被打入冷宫，而后作Lustre的人陆续离开了Oralce，去了其它的Lustre社区、公司或者用户那里。评论谈到，目前是由Lustre的社区主要在维护Lustre的开源代码，有不一样的组织开发出不一样基于Lustre的解决方案，如OpenSFS/EOSYS/Terascala/Panasas，还有像DDN/CRAY等直接养一票技术团队本身操做Lustre的厂商，而社区中所认的最源头的Lustre维护组织，是一个叫Whamcloud的公司，作Level 3级别的支持和维护工做，主要技术开发力量在哪里？还用问吗，中国和印度啊。评论说到，通过近几年的发展，TOP500对这个开源文件系统愈来愈重视，使用愈来愈多，重量级的HPC用户，如那些个米国国家实验室，都会有本身的Lustre团队专门负责，这些团队和民间的社团组织和公司一块儿，拉起了Lustre的大旗。说一下Lustre的最大对手，是IBM的GPFS，在Lustre理念的基础上增长了不少高级特性，如MDS的负载均衡，支持UNIX/Windows和Power芯片等，很厉害，但属于商业软件收费很贵。

8. 话题继续，异构平台（Heterogeneous/Hybird），其实就是CPU+GPU平台，有加速器（Accelerator，目前以GPU为主，还有FPGA等更难使用的加速器）的系统，不可避免的又谈到Nvidia，此次出现了强有力但一直没发力的竞争者： Intel公司。英特尔集成众核(Intel MIC)架构的下一代平台，一直以来都是人们看好的加速器产品，但一直没有正式发布，不知他们在想什么。对了，Intel也是跳票砖家，和MS、Apple同样，但人家有本事啊，不出来你们除了等没有什么办法，但加速器市场不一样，还有个华人开办的公司Nvidia在盯着，有竞争老是好的... 但也不必定哈，好比天朝石油和上国石化，天朝移动和上国联通，所谓的竞争就是让老百姓掏更多钱.... Sorry, 这不是评论中的话题，跑题了

 9. 下一个话题，就是大数据（Big data），在存储业界，大数据早已是熟悉的名词（及浑浊的概念）。HPC也不例外，由于HPC系统中有一个重要部分就是存储。正为了解决存储的带宽、延迟、容量、备份这些问题，才有了以上所说的Lustre/Gemini/DDN等技术、产品及公司等，HPC存储所占的采购成本比例不如服务器节点那样大，但对性能的影响占到50%以上，调试时出问题的机率在80%以上（link to 高性能计算中的存储选型，这也是我为何单独写一篇这样文章的缘由）。评论并无细节的谈到大数据是什么，如何作，只是提到这个概念会成为一种趋势。还额外谈到了HPC会随大数据穿越到其它的行业等话题。

10. 十三分钟的对话很快，最后你们互道Merry Christmas and Happy new year，来年再加把劲干吧，大家老美干吧，中国银要过大节了，（超链接到本文开头那段）。 一月底的那一周不要打扰咱们，就像本周咱们不骚扰大家同样，另外那段时间也不要来中国travel，不是不欢迎大家，怕大家被人类历史上有最有规律的大迁徙给吓着....

立刻要踏入2012年了，趁着年末有时间，本身攒了一篇小文以餮读者，也算对本身所服务的HPC行业的动态有个记录。这里是博客，我我的觉得写得好很差并非关键，事情天天都在发生，记下来才是王道，尤为在新旧交替之时..... 个人博客的特色是文字多，图片少，废话多，知识少，常常跑题，可读性很是差，我感谢读到这里的每一个读者的耐心..... 最后祝你们过年好！

 

金 鹏

Dell HPC Sr. Advisor 

Peng_Jin@Dell.com 

更多精彩文章请关注:

戴尔技术社区