Windows 上也能玩转 Spark

<p>写这篇博客以前有一个问题必定要明确，那就是 Windows 上实际上是不可能玩转 Spark 的，之因此这么说，只是为了让想体验 Spark 的咱们也能玩玩这个东西，没有分布式环境真是悲催啊。可是在Windows上面咱们仍是能够体验一下 Spark 的，不用搭虚拟机， 只须要三样东西。下面讲干货。</p> <p>&#160;</p> <p> *** 一、安装 JVM。**</p> <p> 1) 下载 JDK 最新版本，或者文档版本，这里下载的是 JDK8，安装到指定目录譬如：D:\java\java8</p> <p> 2) 配置系统环境变量：</p> <p>JAVA_HOME = D:\java\java8；</p> <p>PATH = %JAVA_HOME%\bin;%PATH%;</p> <p>CLASSPATH = %JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\jre\lib\rt.jar</p> <p> *** 二、安装 SCALA**</p> <p>1) 下载 SCALA 最新版，解压到指定目录 D:\java\scala-version</p> <p>2) 配置系统环境变量：</p> <p>SCALA_HOME = D:\java\scala-version；</p> <p>PATH = %SCALA_HOME%\bin;%PATH%;</p> <p> *** 三、下载 Spark的预编译版本，随便一个，进入bin目录双击：spark-shell.cmd**</p> <p>恭喜。一个Spark就跑起来了，里面的不少函数你均可以用了，不过别忘记，只能读取本地数据，和数据库的数据。分布式环境中的东西，你如今没有按照 Hadoop 环境，你啥也干不了。</p> <p>只要你安装一个预编译版本对应的 分布式环境，你也能够在那些分布式环境里面读取数据，不过这个时候建议你用 Linux，如今只是一个体验一下 Spark 的环境。</p> <p>&#160;</p> <p>Scala 语言和 R 语言真的好像，只不过R语言底层都写好了， Scala 底层都须要本身去写，写完了以后，你彻底能够按照 R 同样去调用，如今已经有不少项目是完成了底层工做的东西。好比 scalaNLP，未来有一天，你会发现 Scala 真的是个好东西，Spark基于 Scala 如今又出了数据框 DataFrame，会不会未来有一天成为 分布式中的R语言，这些都是个人瞎想。</p>