spark架构及生态

时间 2021-01-17

标签 spark 栏目 Spark 繁體版

原文原文链接

通常当需要处理的数据量超过了单机尺度(比如我们的计算机有4GB的内存，而我们需要处理100GB以上的数据)这时我们可以选择spark集群进行计算，有时我们可能需要处理的数据量并不大，但是计算很复杂，需要大量的时间，这时我们也可以选择利用spark集群强大的计算资源，并行化地计算，其架构示意图如下 Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他

>>阅读原文<<

1. Spark(一) 架构及生态
2. Spark生态和Spark架构
3. Spark及生态圈概述
4. Spark及其生态圈
5. Spark 及其生态圈
6. Spark生态圈及安装
7. Hive架构及Hive On Spark
8. Spark架构及原理
9. Spark基础及架构
10. spark架构及原理
更多相关文章...
• Docker 架构 - Docker教程
• Maven 构建生命周期 - Maven教程
• Flink 数据传输及反压详解
• 使用阿里云OSS+CDN部署前端页面与加速静态资源