Spark(2)——小用RDD

sparkcontext相当于我们和spark集群出创建好了连接,可以通过sparkcontext这样的上下文环境来创建RDD,在shell命令行中,spark已经将上下文环境创建好了,当我们输入sc时: 可见已经用了local模式,没有使用集群,这样可以验证一些基本的代码appName是我们当前启动的spark作业,名称为PySparkShell,我么也可以通过4040端口来查看: 我们可以通过
相关文章
相关标签/搜索