spark的学习之路:pyspark的本地运行以及在YARN的运行

一、本地运行 pyspark --master local[N] local[N] 代表在本地运行,N的值代表同时执行N个程序 (1)查看当前的运行模式:sc.master  (2)读取本地文件,路径之前加上“file:”     testFile = sc.textFile('file:/usr/local/spark/README.md') (3)显示项数 testFile.count() (
相关文章
相关标签/搜索