spark 基础 二 数据读取与保存

spark 本身基于Hadoop生态圈构建,可以通过hadoop mapreduce框架的InputFormat 和OutputFormat 接口访问数据,大部分的文件格式与存储系统如S3、HDFS、Cassandra、HBase等都支持这种接口 spark会根据文件扩展名选择对应处理方式  1读取/保存文本文件 textFIle()读取一个文本文件,生成RDD,输入的每一行成为RDD中的一个元素
相关文章
相关标签/搜索