Spark常用算子

Spark的算子分为两种 1.transformation(转换):这种算子是延迟加载,因为消息缓存比较大 一旦使用了transformation算子,sc会记录使用了那些算子,算子里面使用了什么函数 2.action:触发计算 一旦触发action算子,就会立即执行计算 RDD有两种创建方式: 1.是从外界的文件系统中读取数据来创建RDD 2.通过scala集合创建RDD,要将集合并行化(par
相关文章
相关标签/搜索