Python执行spark程序配置

时间 2019-12-14

标签 python 执行 spark 程序配置栏目 Python 繁體版

原文原文链接

spark没有配置Python环境变量的时候使用Python只用spark时候回出现python

from pyspark import SparkConf,SparkContent
ImportError: No module named pysparkvim

因此要在环境变量中配置spa

打开code

vim /etc/profileblog

添加ip

export SPARK_HOME=/usr/local/spark2.2
export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATHspark

添加过spark环境变量的这里直接用就行ast

而后重启电脑或者 source /etc/profile 当前可用class

附上一段Python读取文本统计行数的代码test

from pyspark import  SparkConf,SparkContext

conf = SparkConf().setMaster("local").setAppName("My App")
sc= SparkContext(conf=conf)

lines = sc.textFile("/root/opt/world/test.txt")
print lines.count()