spark原理:概念与架构、工作机制

一、Hadoop、Spark、Storm三大框架比较 Hadoop:离线海量数据批处理,基于磁盘的 Spark:基于内存。 Spark特点:运行速度快,使用DAG执行引擎以支持循环数据流与内存计算, 2、容易使用:多种语言编程,通过spark shell进行交互式编程 3、通用性:提供了完整而强大的技术栈,包括sQL查询、流式计算、机器学习和图算法组件 4、运行模式多样:可运行在独立集群模式中,可
相关文章
相关标签/搜索