Spark环境搭建

时间 2019-11-12

标签 spark 环境搭建栏目 Spark 繁體版

原文原文链接

本文转载自：https://blog.csdn.net/Sugar_girl/article/details/77867618 并加入了本身安装中遇到的一些问题.html

本次安装部署版本： Hadoop2.8.1+Scala2.12.3+Spark2.2.0java

1.环境准备
修改主机名
　　咱们将搭建1个master，2个slave的集群方案。首先修改主机名vi /etc/hostname，在master上修改成master，其中一个slave上修改成slave1，另外一个修改成slave2。
配置hosts
　　在每台主机上修改host文件node

vi /etc/hosts
10.1.1.107      master
10.1.1.108      slave1
10.1.1.109      slave2

　　配置以后ping一下用户名看是否生效linux

ping slave1
ping slave2

SSH 免密码登陆
　　安装Openssh serverweb

sudo apt-get install openssh-server

　　在全部机器上都生成私钥和公钥shell

ssh-keygen -t rsa   #一路回车

　　须要让机器间都能相互访问，就把每一个机子上的id_rsa.pub发给master节点，传输公钥能够用scp来传输。apache

scp ~/.ssh/id_rsa.pub tx@master:~/.ssh/id_rsa.pub.slave1

　　在master上，将全部公钥加到用于认证的公钥文件authorized_keys中浏览器

cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys

　　将公钥文件authorized_keys分发给每台slave

scp ~/.ssh/authorized_keys tx@slave1:~/.ssh/

　　在每台机子上验证SSH无密码通讯安全

ssh master
ssh slave1
ssh slave2

　　若是登录测试不成功，则可能须要修改文件authorized_keys的权限（权限的设置很是重要，由于不安全的设置安全设置,会让你不能使用RSA功能）oracle

chmod 600 ~/.ssh/authorized_keys

　　若是遇到ssh登陆The authenticity of host 192.168.xxx.xxx can’t be established.的问题，执行scp报错

The authenticity of host '192.168.23.130 (192.168.23.130)' can't be established.
ECDSA key fingerprint is SHA256:EsqTfeCJ34DnGV66REuRRPhoFwaLuee5wxFgEAZ8b9k.
Are you sure you want to continue connecting (yes/no)? 
Host key verification failed.
lost connection

　　这时，修改/etc/ssh/ssh_config文件的配置，之后则不会再出现此问题，在最后面添加：

StrictHostKeyChecking   no
UserKnownHostsFile  /dev/null

安装 Java
　　从官网下载最新版 Java 就能够，Spark官方说明 Java 只要是6以上的版本均可以，我下的是 jdk-8u144-linux-x64.tar.gz，在~/workspace目录下直接解压。

tar -zxvf jdk-8u144-linux-x64.tar.gz

　　修改环境变量sudo vi /etc/profile，添加下列内容，注意将home路径替换成你的：

export WORK_SPACE=/home/tx/workspace/
export JAVA_HOME=$WORK_SPACE/jdk1.8.0_144
export JRE_HOME=/home/tx/workspace/jdk1.8.0_144/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

　　而后使环境变量生效，并验证 Java 是否安装成功

$ source /etc/profile   #生效环境变量
$ java -version         #若是打印出以下版本信息，则说明安装成功
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

安装 Scala
　　官方下载Scala2.12.3，一样在~/workspace中解压.

tar -zxvf scala-2.12.3.tgz

　　再次修改环境变量sudo vi /etc/profile，添加如下内容：

export SCALA_HOME=$WORK_SPACE/scala-2.12.3
export PATH=$PATH:$SCALA_HOME/bin

　　一样的方法使环境变量生效，并验证 scala 是否安装成功

$ source /etc/profile   #生效环境变量
$ scala -version        #若是打印出以下版本信息，则说明安装成功
Scala code runner version 2.12.3 -- Copyright 2002-2017, LAMP/EPFL and Lightbend, Inc.

2.安装配置 Hadoop YARN
下载解压
　　从官网下载 hadoop2.8.1 版本，一样在~/workspace中解压。

tar -zxvf hadoop-2.8.1.tar.gz

配置 Hadoop
　　cd ~/workspace/hadoop-2.8.1/etc/hadoop进入hadoop配置目录，须要配置有如下7个文件：hadoop-env.sh，yarn-env.sh，slaves，core-site.xml，hdfs-site.xml，maprd-site.xml，yarn-site.xml

在hadoop-env.sh中配置JAVA_HOME

# The java implementation to use.
export JAVA_HOME=/home/tx/workspace/jdk1.8.0_144

在yarn-env.sh中配置JAVA_HOME

# The java implementation to use.
export JAVA_HOME=/home/tx/workspace/jdk1.8.0_144

在slaves中配置slave节点的ip或者host

slave1
slave2

修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000/</value>
    </property>
    <property>
         <name>hadoop.tmp.dir</name>
         <value>file:/home/tx/workspace/hadoop-2.8.1/tmp</value>
    </property>
</configuration>

修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:9001</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/tx/workspace/hadoop-2.8.1/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/tx/workspace/hadoop-2.8.1/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8035</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>
</configuration>

　　将配置好的hadoop-2.8.1文件夹分发给全部slaves

scp -r ~/workspace/hadoop-2.8.1 tx@slave1:~/workspace/hadoop-2.8.1

启动 Hadoop
　　在 master 上执行如下操做，就能够启动 hadoop 了。

cd ~/workspace/hadoop-2.8.1     #进入hadoop目录
bin/hadoop namenode -format     #格式化namenode
sbin/start-dfs.sh               #启动dfs 
sbin/start-yarn.sh              #启动yarn

验证 Hadoop 是否安装成功
　　能够经过jps命令查看各个节点启动的进程是否正常。在 master 上应该有如下几个进程：

$ jps  #run on master
3407 SecondaryNameNode
3218 NameNode
3552 ResourceManager
3910 Jps

　　在每一个slave上应该有如下几个进程：

$ jps   #run on slaves
2072 NodeManager
2213 Jps
1962 DataNode

　　或者在浏览器中输入 http://master:8088 ，应该有 hadoop 的管理界面出来了，并能看到 slave1 和 slave2 节点。
　　此时，若是你发现slave中datanode没有启动，则将slave的tmp、data、node文件所有删除，重启hadoop便可解决问题。
3. Spark安装
下载解压
　　进入官方下载地址下载最新版 Spark。我下载的是 spark-2.2.0-bin-hadoop2.7.tgz，你会发现下得贼慢，这时候就用迅雷下载后关机功能吧。。
在~/workspace目录下解压

tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz
mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0    #原来的文件名太长了，修改下

配置 Spark

cd ~/workspace/spark-2.2.0/conf    #进入spark配置目录
cp spark-env.sh.template spark-env.sh   #从配置模板复制
vi spark-env.sh     #添加配置内容

　　在spark-env.sh末尾添加如下内容（这是个人配置，你能够自行修改）：

export SCALA_HOME=/home/tx/workspace/scala-2.12.3
export JAVA_HOME=/home/tx/workspace/jdk1.8.0_144
export HADOOP_HOME=/home/tx/workspace/hadoop-2.8.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/home/tx/workspace/spark-2.2.0
SPARK_DRIVER_MEMORY=1G

　　注：在设置Worker进程的CPU个数和内存大小，要注意机器的实际硬件条件，若是配置的超过当前Worker节点的硬件条件，Worker进程会启动失败。
　　vi slaves在slaves文件下填上slave主机名：

slave1
slave2

　　将配置好的spark-2.2.0文件夹分发给全部slaves

scp -r ~/workspace/spark-2.2.0 tx@slave1:~/workspace/

启动Spark

sbin/start-all.sh

验证 Spark 是否安装成功
　　用jps检查，在 master 上应该有如下几个进程：

$ jps
7949 Jps
7328 SecondaryNameNode
7805 Master
7137 NameNode
7475 ResourceManager

　　在 slave 上应该有如下几个进程：

$jps
3132 DataNode
3759 Worker
3858 Jps
3231 NodeManager

　　进入Spark的Web管理页面： http://master:8080
4. 运行示例

#本地模式两线程运行
./bin/run-example SparkPi 10 --master local[2]
#Spark Standalone 集群模式运行
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://master:7077 \
  lib/spark-examples-1.3.0-hadoop2.4.0.jar \
  100
#Spark on YARN 集群上 yarn-cluster 模式运行
./bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master yarn-cluster \  # can also be `yarn-client`
    lib/spark-examples*.jar \
    10

本人遇到的问题:

1: 执行sbin/start-all.sh后，slave节点没法启动，报错提示链接spark://Spark-Master:7077失败，在网上找了不少资料后没法解决问题，后面找到了一个方法是分别执行 sbin/start-master.sh [master-ip] , sbin/start-slave.sh [master-ip] 来执行解决，后面本身想ip能够应该就是hostname不匹配的缘由,由于本身master机器的hostname为Spark-Master，把 master-ip Spark-Master 注册到/etc/hosts里面后而后分发到slave机器，从新执行sbin/start-all.sh 正常启动，节点也能够看到了.

2: HDFS启动后在master:50070上访问点击tmp文件夹报Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwx-wx-wx ，根据网上查找资料后执行 hdfs dfs -chmod -R 755 /tmp 能够解决，但后面启动spark-shell后报错The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x,在此看到提示没有写的权限，执行 hdfs dfs -chmod -R 777 /tmp ,解决问题