spark-3-macOS配置hadoop+spark+IDE

【教程1】https://blog.csdn.net/shiyutianming/article/details/99946797  + 【教程2】http://dblab.xmu.edu.cn/blog/1689-2/ 

 两个对照着理解一下就好了，apache-spark能够不用homebrew安装，按教程1中步骤直接下载安装便可。

 

【补充】若是想要默认使用 anaconda 的环境启动 pyspark：

在~/spark-3.0.0-bin-hadoop3.2/conf/spark-env.sh 中增长 export PYSPARK_PYTHON=/Users/chaojunwang/anaconda2/envs/python36/bin/python（举例），指定python源便可，以后只要用conda切换环境，便可在 jupyter notebook 等IDE中使用pyspark。