pycharm pyspark 配置

1 、安装了pycharm,下载spark(官网下载,我下的是spark-2.1.1-bin-hadoop2.7.tgz,解压缩后为文件夹spark-2.1.1-bin-hadoop2.7,我将文件放在了/Applications/spark/下,这个文件夹里面有python文件,python文件下还有两个压缩包py4j-some-version.zip和pyspark.zip,以后会用到)python

二、随便打开一个project,pycharm右上角“run”三角形的左边有一个run configurition,打开它。oop

三、设置configurition---Environment--- Environment variables ---点击“...”,出现框框,点击+,输入两个name,一个是SPARK_HOME,另一个是PYTHONPATH,设置它们的values,SPARK_HOME的value是安装文件夹spark-2.1.1-bin-hadoop2.7的绝对路径,PYTHONPATH的value是该绝对路径/python,例如个人SPARK_HOME的value是/Applications/spark/spark-2.1.1-bin-hadoop2.7,那么个人PYTHONPATH的value是/Applications/spark/spark-2.1.1-bin-hadoop2.7/python 。设置好了保存。(注意无论是路径的哪里,都不能有空格!)spa

四、关键的一步,不少网页上都只有到第3步,这样引入spark的包仍是有红线。在perferences中的project structure中点击右边的“add  content root”,添加py4j-some-version.zip和pyspark.zip的路径(这两个文件都在Spark中的python文件夹下)ip

五、完成,from pyspark import SparkContext,红线消失,运行正常。hadoop

相关文章
相关标签/搜索