Spark学习（1）——概述

Spark特点：     高效（比MapReduce快10~100倍）         内存计算引擎，提供Cache机制来支持需要反复迭代计算或者多次数据共享，减少数据读取的IO开销         DAG引擎，减少多次计算之间中间结果写到HDFS的开销         使用多线程池模型来减少task启动开销，shuffle过程中避免不必要的sort操作以及减少磁盘IO操作     易用     

>>阅读原文<<