Spark为啥比hadoop速度快?

1.统一的RDD抽象和操做,基于该抽象一个栈就能够轻松的处理实时流计算,SQL交互式查询,机器学习和图计算等。 基于统一的技术堆栈,使得Spark称为大数据通用计算平台。 web 2.基于内存的迭代式计算 回顾下hadoop中经典处理过程: MapReduce在每次执行时都要从磁盘读取数据,计算完毕后都要把数据存放到磁盘上。 好比:机器学习的时候,会不断的迭代数据 ,这样的话,会消耗大量的IO 而
相关文章
相关标签/搜索