安装配置Spark集群

时间  2019-12-16
标签 安装 配置 spark 集群 栏目 Spark 繁體版
原文   原文链接

首先准备3台电脑或虚拟机，分别是Master,Worker1,Worker2，安装操做系统(本文中使用CentOS7)。java

一、配置集群，如下步骤在Master机器上执行node

　　1.一、关闭防火墙：systemctl stop firewalld.serviceweb

　　1.二、设置机器ip为静态ipshell

　　　　1.2.一、修改配置apache

cd /etc/sysconfig/network-scripts/
vim ifcfg-eno16777736

更改内容以下：
BOOTPROTO=static
#配置静态IP，网关，子网掩码
IPADDR=192.168.232.133
NETMASK=255.255.255.0
GATEWAY=192.168.232.2
#取消networkmanager 管理
NM_CONTROLLED=no

ONBOOT=yes

　　　　1.2.二、重启网络服务：systemctl restart network.servicevim

　　1.三、设置机器名hostname：hostnamectl set-hostname Master浏览器

　　1.四、设置/etc/hosts服务器

192.168.232.133    Master
192.168.232.134    Worker1
192.168.232.135    Worker2

　　1.五、按以上5个步骤配置Worker1,Worker2网络

　　1.六、测试集群内机器是否可相互ping通：ping Worker1app

二、配置ssh免密码登陆

　　2.一、 配置Master无密码登陆全部Worker

　　　　2.1.一、在Master节点上生成密码对，在Master上执行如下命令：
　　　　　　ssh-keygen -t rsa -P ''
　　　　　　生成的密钥对：id_rsa和id_rsa.pub，默认存储在"/root/.ssh"目录下。

　　　　2.1.二、在Master节点上作以下配置，把id_rsa.pub追加到受权的key里面去。
　　　　　　cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

　　　　2.1.三、修改ssh配置文件"/etc/ssh/sshd_config"的下列内容：

RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

　　　　2.1.四、重启ssh服务，才能使刚才设置有效：service sshd restart

　　　　2.1.五、验证无密码登陆本机是否成功：ssh Master

　　　　2.1.六、把公钥复制到全部的Worker机器上。使用scp命令进行复制公钥：

scp /root/.ssh/id_rsa.pub root@Worker1:/root/
scp /root/.ssh/id_rsa.pub root@Worker2:/root/

　　2.二、配置Worker1机器
　　　　2.2.一、在"/root/"下建立".ssh"文件夹，若是已经存在就不须要建立了。
　　　　　　mkdir /root/.ssh

　　　　2.2.二、将Master的公钥追加到Worker1的受权文件"authorized_keys"中去。
　　　　　　cat /root/id_rsa.pub >> /root/.ssh/authorized_keys

　　　　2.2.三、修改"/etc/ssh/sshd_config"，具体步骤参考前面Master设置的第1.3和第1.4。

　　　　2.2.四、用Master使用ssh无密码登陆Worker1
　　　　　　ssh worker1

　　　　2.2.五、删除"/root/"目录下的"id_rsa.pub"文件。
　　　　　　rm –r /root/id_rsa.pub

　　　　2.2.六、重复上面的5个步骤把Worker2服务器进行相同的配置。

　　2.三、 配置全部Worker无密码登陆Master

　　　　2.3.一、在Worker1节点上生成密码对，并把本身的公钥追加到"authorized_keys"文件中，执行下面命令：
　　　　　　ssh-keygen -t rsa -P ''
　　　　　　cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

　　　　2.3.二、将Worker1节点的公钥"id_rsa.pub"复制到Master节点的"/root/"目录下。
　　　　　　scp /root/.ssh/id_rsa.pub root@Master:/root/

　　　　2.3.三、在Master节点将Worker1的公钥追加到Master的受权文件"authorized_keys"中去。
　　　　　　cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

　　　　2.3.四、在Master节点删除"id_rsa.pub"文件。
　　　　　　rm –r /root/id_rsa.pub

　　　　2.3.五、测试从Worker1免密码登陆到Master：ssh Master

　　2.四、按照上面的步骤把Worker2和Master之间创建起无密码登陆。这样，Master能无密码登陆每一个Worker，每一个Worker也能无密码登陆到Master。

三、在Master安装Java、Scala，把下载的安装包解压便可tar -xzvf ...

四、在Master安装配置Hadoop
　　4.一、配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Master:50090</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/etc/hadoop-2.7.5/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/etc/hadoop-2.7.5/hdfs/data</value>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>/usr/etc/hadoop-2.7.5/hdfs/namesecondary</value>
    </property>
</configuration>

　　4.二、配置yarn-site.xml

<configuration>
   <property>
         <name>yarn.resourcemanager.hostname</name>
         <value>Master</value>
   </property>
   <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
   </property>
   <property>
         <name>yarn.resourcemanager.address</name>
         <value>Master:8032</value>
   </property>
   <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>Master:8030</value>
   </property>
   <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>Master:8031</value>
   </property>
   <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>Master:8033</value>
   </property>
   <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>Master:8088</value>
   </property>
</configuration>

　　4.三、配置mapred-site.xml

<configuration>
   <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

　　4.四、配置hadoop-env.sh

export JAVA_HOME=/usr/etc/jdk1.8.0_161
export HADOOP_HOME=/usr/etc/hadoop-2.7.5
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}

　　4.五、配置core-site.xml

<configuration>
   <property>
      <name>fs.defaultFS</name>
          <value>hdfs://Master:9000</value>
   </property>
    <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/etc/hadoop-2.7.5/tmp</value>
    </property>
   <property>
       <name>hadoop.native.lib</name>
       <value>true</value>
    </property>
</configuration>

　　4.六、配置slaves

Worker1
Worker2

五、在Master安装配置Spark
　　5.一、配置spark-env.sh

export JAVA_HOME=/usr/etc/jdk1.8.0_161
export SCALA_HOME=/usr/etc/scala-2.12.4
export HADOOP_HOME=/usr/etc/hadoop-2.7.5
export HADOOP_CONF_DIR=/usr/etc/hadoop-2.7.5/etc/hadoop
export SPARK_MASTER_IP=Master
export SPARK_WORKER_MEMORY=1g
export SPARK_EXECUTOR_MEMORY=1g
export SPARK_DRIVER_MEMORY=500m
export SPARK_WORKER_CORES=2
export SPARK_HOME=/usr/etc/spark-2.3.0-bin-hadoop2.7
export SPARK_DIST_CLASSPATH=$(/usr/etc/hadoop-2.7.5/bin/hadoop classpath)

5.二、配置spark-defaults.conf

spark.eventLog.enabled true
spark.eventLog.dir hdfs://Master:9000/historyserverforSpark
spark.yarn.historyServer.address Master:18080
spark.history.fs.logDirectory hdfs://Master:9000/historyserverforSpark
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

5.三、配置slaves

Worker1
Worker2

六、在Master配置环境变量/etc/profile，并经过source /etc/profile使生效

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL
export JAVA_HOME=/usr/etc/jdk1.8.0_161
export JRE_HOME=/usr/etc/jdk1.8.0_161/jre
export SCALA_HOME=/usr/etc/scala-2.12.4

export HADOOP_HOME=/usr/etc/hadoop-2.7.5
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"

export SPARK_HOME=/usr/etc/spark-2.3.0-bin-hadoop2.7

export HIVE_HOME=/usr/etc/apache-hive-2.1.1-bin

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$SCALA_HOME/lib:$HADOOP_HOME/lib

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$HIVE_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATH

export JAVA_HOME PATH

七、在Master经过scp命令拷贝java，scala，hadoop，spark，/etc/profile到Worker1,Worker2机器上

八、在Master机器上运行命令：hadoop namenode -format，格式化磁盘

九、在Master机器上运行命令：start-hdfs.sh，启动hdfs服务，可在浏览器经过Master:50070访问

十、在Master机器上运行命令：进入spark的bin目录，start-all.sh，启动Spark，可在浏览器经过Master:8080访问

十一、在Master机器上运行命令：start-history-server.sh，启动Spark历史服务，可在浏览器经过Master:18080访问

十二、测试集群application运行

12.一、使用spark-submit提交Application：

./spark-submit --class org.apache.spark.examples.SparkPi --master spark://Master:7077 ../examples/jars/spark-examples_2.11-2.3.0.jar 100000
--class：命名空间(包名)+类名；--master：spark集群的master；.jar：jar包位置；10000：任务个数

12.二、启动spark-shell，运行woldcount程序：

sc.textFile("/README.md").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).map(pair=>(pair._2,pair._1).sortByKey(false,1).map(pair=>(pair._2,pair._1)).saveAsTextFile("/resdir/wordcount")
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程