hadoop spark环境搭建及idea scala maven集成开发spark任务

1.项目背景 公司目前已经部署了分布式文件存储和计算平台（已经上线hadoop，spark，hbase等），业务数据已经以文件的形式存储在hdfs中，业务部门常常提出各类数据需求，所以须要基于spark计算平台开发各类计算任务。公司目前的分布式平台只有一套线上环境，为了不在学习、测试spark开发的过程当中对线上环境形成污染，通过运维同事的规划，提供一台配置较高的pc用于搭建单机（standalo

>>阅读原文<<