Spark与Hadoop(MapReduce)

时间 2020-12-30

标签 Spark Hadoop 栏目 Spark 繁體版

原文原文链接

Hadoop存在如下一些缺点：表达能力有限磁盘IO开销大延迟高任务之间的衔接涉及IO开销在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务 Spark具有如下几个主要特点：运行速度快：使用DAG执行引擎以支持循环数据流与内存计算容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程通用性：Spar

>>阅读原文<<

1. HadoopMapReduce 的 Shuffle 阶段
2. spark与mapreduce
3. Spark-Cache与Checkpoint
4. Spark与缓存
5. Hadoop与Spark
6. Spark Streaming与Storm
7. Spark Driver与Executor
8. Spark RDD与DataFrame
9. Spark(一)-spark安装与配置
10. Spark 系列13—— Spark Streaming 与流处理
更多相关文章...
• XSL-FO 与 XSLT - XSL-FO 教程
• PHP - AJAX 与 PHP - PHP教程
• Composer 安装与使用
• Java Agent入门实战（一）-Instrumentation介绍与使用