深刻分析Spark Core中的多种核心技术

Spark Core,主要提供Spark应用的运行时环境,包括如下功能:算法 基础能力:网络 SparkConf:用于管理Spark应用程序的各类配置信息;框架 内置的基于Netty的RPC框架,包括同步和异步的多种实现。RCP框架时Spark各组件间通讯的基础;异步 事件总线: SparkContext内部各组件间使用事件—监听器模式异步调用的实现;分布式 度量系统:由Spark中的多种度量源(
相关文章
相关标签/搜索