idea中直接运行spark程序

咱们能够在IDEA中直接运行spark程序,来链接服务器上的HDFS或者是spark集群来跑spark任务。java 提早工做 咱们须要先解决idea直接运行程序远程访问HDFS的问题。 首先下载 hadoop-common-2.6.0-bin-master.rar 压缩包(须要和服务器上的Hadoop版本对应),解压到任意目录,而后在环境变量中添加 HADOOP_HOME ,变量值为解压的位置。
相关文章
相关标签/搜索