革命Hadoop，Spark搅热云计算大数据市场

 

据相关数据显示，2013年上半年中国手机网民规模已经突破5亿大关，预计14年第一季度，国内手机网民规模将超PC端，手机用户超过10亿，3G用户持续增加，以及4G的强势劲头，都催生移动大数据的爆发。大量新数据无时无刻不在涌现，移动互联网正影响着人类生活的方方面面。

这将是一个史无前例的时代。全部的公司和机构都已经或者正在成为移动互联网组织。全部的公司和机构也终将是云计算大数据组织。移动互联网及云计算大数据的浪潮正在并将最终完全的变革全部的公司和机构的架构模式、生产模式、服务模式以及管理模式。

 

Spark—新一代全能大数据计算平台崛起

 

随着大数据相关技术和产业的逐渐成熟，单个组织内每每须要同时进行多种类型的大数据分析做业：传统Hadoop MapReduce最为擅长的是离线海量数据的统计分析，因为Hadoop自己的特性，致使使用Hadoop处理大数据的结果的获取每每是要延迟在几分钟甚至是几个小时，这在不少场景下都是不可接受的。更为重要的是在Spark出现前，要在一个组织内同时完成各类机器学习算法为表明的迭代型计算、流式计算、社交网络中经常使用的图计算、SQL关系查询、交互式即席查询等数种大数据分析任务，就不得不与多套独立的系统打交道，一方面引入了不容小觑的运维复杂性，另外一方面还免不了要在多个系统间频繁进行代价高昂的数据转储。

 

Spark是基于内存，是云计算领域的继Hadoop以后的下一代的最热门的通用的并行计算框架开源项目，尤为出色的支持Interactive Query、流计算、图计算等。

Spark在机器学习方面有着无与伦比的优点，特别适合须要屡次迭代计算的算法。同时Spark的拥有很是出色的容错和调度机制，确保系统的稳定运行，Spark目前的发展理念是经过一个计算框架集合SQL、Machine Learning、Graph Computing、Streaming Computing等多种功能于一个项目中，具备很是好的易用性。

 

Spark无可比拟的优点，占据云计算大数据领域霸主地位

 

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。Spark当下已成为Apache基金会的顶级开源项目，拥有着庞大的社区支持（活跃开发者人数已超过Hadoop MapReduce），技术也逐渐走向成熟。

做为下一代云计算及大数据的核心技术，Spark是能够革命Hadoop的目前惟一替代者，可以作Hadoop作的一切事情，同时速度比Hadoop快了100倍以上。甚至在Hadoop最擅长的离线数据统计分析领域，Spark比Hadoop也至少快了一个几何级数；Spark另一个无可取代的优点是：“One Stack to rule them all”，Spark采用一个统一的技术堆栈解决了云计算大数据包括如流处理、图技术、机器学习、NoSQL查询等方面的全部核心问题，具备完善的生态系统；这直接奠基了其一统云计算大数据领域的霸主地位；

 

Spark应用现状及将来发展

目前SPARK已经构建了本身的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有本身的技术，而且是Apache顶级Project，能够预计的是2014年下半年到2015年在社区和商业应用上会有爆发式的增加。

国外一些大型互联网公司已经部署了Spark。甚至连Hadoop的早期主要贡献者Yahoo如今也在多个项目中部署使用Spark；国内的淘宝、优酷土豆、网易、Baidu、腾讯等已经使用Spark技术用于本身的商业生产系统中，国内外的应用开始愈来愈普遍。

 

前段时间，mahout宣布了一个重大的消息，mahout社区表示从如今起，他们将再也不接受任何以MapReduce形式实现的算法，可是他们仍然将维护那些经常使用算法的MapReduce实现。另外一方面，mahout宣布新的算法将基于Spark实现，他们相信Spark更丰富的编程模型及更优秀的性能将对mahout有着相当重要的做用。另外一方面，Cloudera的机器学习框架oryx的执行引擎也会替换成Spark，以前oryx也是使用mapreduce。种种迹象代表，Spark已经开始各类屠杀了，很是有但愿成为新一代分布式机器学习事实上的标准。让咱们拭目以待。Spark正在逐渐走向成熟，并在这个领域扮演更加剧要的角色。

 

Spark发展迅速，人才培养将成为关注热点

Spark技术的快速发展及应用普及，也带来了另一个倍受企业关注的问题，即Spark人才的培养。因为目前Spark技术在企业的应用，仍然属于一个起步的阶段，在专业人才上极度匮乏。目前国内专一在Spark人才培养的机构和课程很是罕见。

据Spark亚太研究院院长及首席专家王家林介绍，Spark亚太研究院致力于Spark技术的研究及推广，在帮助企业规划、部署、开发、培训和使用Spark为核心，同时提供Spark源码研究和应用技术训练。

在推进国内Spark人才培养上，Spark研究院在完成了对Spark源码的完全研究的同时不断在实际环境中使用Spark的各类特性的基础之上，推出了国内首个Spark训练体系：

《18小时内掌握Spark》、《Spark企业级开发最佳实践》《精通Spark：Spark内核剖析、源码解读、性能优化和商业案例实战》，帮助企业，从入门到精通到商业实战，完成Spark人才的快速培养。