Spark到底解决了什么根本性的技术问题?

1.背景: 在spark出现以前,hadoop的迅速发展,hadoop分布式集群,把编程简化为自动提供 位置感知性调度,容错,以及负载均衡的一种模式,用户就能够在普通的PC机上运行超大集群运算,hadoop有一个很是大的问题:hadoop是基于流处理的,hadoop会从(物理存储)hdfs中加载数据,而后处理以后再返回给物理存储hdfs中,这样不断的读取与写入,占用了大量的IO,后来hadoop出
相关文章
相关标签/搜索