基于Spark的机器学习实践 (三) - 实战环境搭建

0 相关源码

1 Spark环境安装

◆ Spark 由scala语言编写,提供多种语言接口,须要JVM

◆ 官方为咱们提供了Spark 编译好的版本,能够没必要进行手动编译

◆ Spark安装不难,配置须要注意,而且不必定须要Hadoop环境

• 下载

  

  

• 解压

tar zxvf spark-2.4.1-bin-hadoop2.7.tgz
复制代码

2 Spark配置

◆ 在配置前尽可能先阅读官方文档,避免直接从网上找配置教程

◆ 要为节点设 置好使用的内存,不然可能致使节点利用率低;

◆ 注意spark中IP与端口号的配置,以避免UnknownHostException

官网配置

• 应用默认配置

  

• 配置文件

  

• 复制两份模板,开启自行配置

  

单机环境配置

• 本地IP

  

shell进行验证

bin/spark-shell
复制代码

3 Spark shell

◆ Spark shell是一个bash脚本,在./bin目录下

◆ Spark shell 为咱们事先配置好了上下文(context) 和会话(session)

• context实例

  

  

• session实例

  

  

• UI

  

  

4 实战Wordcount

4.1 Wordcount简介

◆ Wordcount 词频统计,是大数据分析中最为基础的一种任务 英文分词较容易,直接分割空格便可。

◆ 实现思路 首先将文件中全部的单词提取出来,而后合并相同单词

• 实现示意图

  

项目搭建

• 添加spark jar包

  

• 全选jar包,先左键选中第一个,再拉到最后shift,再左键最后一个实现全选.

  

  

  

• 新建类

  

• 测试文件

`pwd`/`ls |grep L`
复制代码

• 编写函数

  

• 运行成功

  

• 打包

  

  

• 移除这些多余的jar包

  

  

  

• 构建

  

  

  

• 将jar包放到spark/bin目录下 使用 Spark-submit 运行

  

Spark机器学习实践系列

• 基于Spark的机器学习实践 (一) - 初识机器学习
• 基于Spark的机器学习实践 (二) - 初识MLlib
• 基于Spark的机器学习实践 (三) - 实战环境搭建