Windows本地安装部署Spark及Pyspark

Windows本地安装部署Spark及Pyspark

• Windows环境安装配置
• Pyspark 启动常见问题解决（系统找不到指定路径、Java gateway process exited before sending the driver its port number）
• 海报：业界AI课程分享，段智华邀你一起学习。本课程将从实际业务出发，基于Python3落地工作中经常碰到的分析与挖掘方法。内容涉及Python基础语法介绍、数据预处理、数据可视化以及数据分析与挖掘；使用到的技术包含Python3中的numpy、pandas、scipy、matplotlib、sklearn等模块。实战部分会涵盖10多种数据清洗案例、至少15种统计图形展现以及10种挖掘算法的应用。老师手把手教你使用Python解决日常工作中的数据分析与挖掘任务，你能达到中高级数据分析师的应用水平，可独立完成数据分析项目。

 Windows环境安装配置

•  Windows系统 查询Java、Scala安装成功。

Spark安装配置

• 登录Spark的官网，下载 spark-2.4.5-bin-hadoop2.6.tgz，解压放到目录F:\spark，配置windows的SPARK_HOME变量。