pyspark设置python的版本

一般情况下，spark内置的python的版本是2的版本，现在我想把python的版本切换成3的版本，步骤如下（前提是所有节点都已经安装好python3） 1.修改spark-env.sh文件，在末尾添加export PYSPARK_PYTHON=/usr/bin/python3 2.把修改后的spark-env.sh分发到其他子节点的spark安装包下的conf目录下 3.修改spark安装包b

>>阅读原文<<