spark-core学习笔记

1.spark和MapReduce比较:缓存 1)MR是批量计算框架,Spark-Core也是批量计算框架 2)Spark相比MR速度快,MR做为一个job,在中间环节中结果是落地的(会通过磁盘交换),Spark计算过程当中数据流转都是在内存的(减小了对HDFS的依赖)多线程 3)MR:多进程模型(缺点:每一个任务启动时间长,因此不适合于低延迟的任务              优势:资源隔离,稳定
相关文章
相关标签/搜索