Spark的好处及优点

1 官网地址 连接地址web 2 MapReduce局限性 1)繁杂:Map和Reduce两种操做,编写好的代码要打包运行,不能经过shell进行交互式处理,若是程序改动须要从新打成jar包。 2)处理效率低效。算法 IO:Map中间结果写磁盘,Reduce写HDFS,多个MR之间经过HDFS交换数据; 任务调 度和启动开销大; 进程级别 Map端和Reduce端均须要排序 3)不适合迭代计算(如
相关文章
相关标签/搜索