Spark job提交时,spark-submit的主要参数的解析及建议

前言 说spark之前,先提一下MapReduce:     最本质的两个过程就是Map和Reduce Map的应用在于我们需要数据一对一的元素的映射转换,比如说进行截取,进行过滤,或者任何的转换操作,这些一对一的元素转换就称作是Map; Reduce主要就是元素的聚合,就是多个元素对一个元素的聚合,比如求Sum等,这就是Reduce。 Mapreduce是Hadoop1.0的核心,Spark出现
相关文章
相关标签/搜索