pySaprk,pycharm编写spark的python脚本,远程上传执行和本地模式执行

上次,咱们用scala来编写来spark,此次咱们用python来写spark脚本,咱们在上篇博客中说过,spark的版本是2.2.0,scala的版本是2.1.x,这样咱们在集群中,因为spark的版本,没有办法使用pySpark wordcount.py 来执行脚本,只能使用spark submit wordcount.py来执行脚本,在Linux环境是这样执行的,可是咱们写脚本,能够直接在L
相关文章
相关标签/搜索