键值对RDD的建立方式

键值对RDD是对Spark中许多操做所须要的常见数据类型,一般用于聚合计算。先经过ETL(抽取,转换,装载)操做来将数据转化为键值对形式。web 1.建立Pair RDD 在scala中使用第一个单词做为key,建立一个pairRDDsvg val lines=sc.textFile("input/1.txt") val pairs = lines.map(x => (x.split(" ")(0
相关文章
相关标签/搜索