BigData————Spark

spark是一个快速的通用的集群计算平台。编程 特色：服务器 快速：比hadoop快出100倍，hadoop框架mapreduce计算须要落地。map任务结束后将结果输出到磁盘或者hdfs，reduce从hdfs读取数据，计算结果又放到 hdfs上，涉及到i/o。同时shuffle机制也须要i/o，伴随数据迁移。耗费时间。 spark相对而言，将mapreduce的计算过程须要的数据尽可能的放到内

>>阅读原文<<