Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用

2015-04-26 13:57   默认是从hdfs读取文件,也能够指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读   本地文件读取 sc.textFile("路径").在路径前面加上file:// 表示从本地文件系统读,如file:///home/user/spark/README.md ‍ 网上不少例子,包括官网的例子,都是用textFile来
相关文章
相关标签/搜索