[Spark01]Spark产生背景及特点

Spark的产生背景以其特点 1、产生背景: MapReduce编程的不便性: 1)繁杂:开发一个作业,既要写Map,又要写Reduce和驱动类。当需求变动要改变大量的代码 2)效率低:MapReduce基于进程,进程的启动和销毁要花费时间。 I/O频繁:网络I/O和磁盘I/O频繁 每个阶段都必须排序,但其实有些任务的排序是不必要的 3)不适合作迭代处理 4)只适合离线计算,不适合作实时处理 #S
相关文章
相关标签/搜索