windows idea中用scala操作本地spark,hadoop,及打包成jar 详细步骤

目标: 在idea中用scala编写简单代码,从本地hdfs中(或本地目录)读取文件,通过spark处理后,结果输出到本地dhfs或本地目录。 然后修改代码,将项目打成jar包,上传到linux中,在spark集群上运行。   环境:hadoop2.7.2 +spark2.2.3 +scala 2.11.8 +idea2018 以上环境的具体安装配置和idea的基本操作分别见: windows上
相关文章
相关标签/搜索