Spark 2.7.3 VMware Ubuntu 16.04 虚拟机搭建

时间 2019-12-15

标签 spark 2.7.3 vmware ubuntu 16.04 虚拟机搭建栏目 Spark 繁體版

原文原文链接

Spark 2.7.3 配置教程

在 root 用户下操做

ubunut中用到的文件及位置

/home
    /hadoop
        /hadoop-2.7.3
    /java
        /java1.8.0_112
    /scala
        /scala-2.12.1
    /spark
        /spark-2.1.0-bin-hadoop2.7

环境搭建

虚拟机网络设置

在windows下打开网络和共享中心中设置 VMware Network Adapter VMnet1 的IPv4

item	value
IP 地址	192.168.32.10
子网掩码	255.255.255.0
默认网关	192.168.32.1

Linux网络设置

Linux 的 IP 与虚拟机的 IP 在同一网段便可。即：IP 的最后一部分不一样便可java

修改主机名node
1. 编辑文件vim /etc/hostname，进入后，删除原有内容，改成新名字
2. 修改映射vim /etc/hosts，加入相似语句shell
```
IP                  主机名
    192.163.32.110      hadoop1
```
关闭防火墙vim
```
ufw disable
```
免密码登录

生成公钥和私钥windows

ssh-keygen

出现提示，一路enter

mv id_rsa.pub authorized_keys

Hadoop 搭建

配置 Java 和 Hadoop

进入 root 目录，修改文件
        cd
        vim .bashrc
    加入
        # Java setting
        export JAVA_HOME=/home/java/jdk1.8.0_112

        # Hadoop setting
        export  HADOOP_HOME=/home/hadoop/hadoop-2.7.3

        # PATH setting
        export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
    使其生效 
        source .bashrc

    cd /home/hadoop/hadoop-2.7.3/etc/hadoop
    vim hadoop-env.sh    在其中显示指明 JAVA_HOME 的地址
    vim core-site.xml    复制官网(配置机器名)

HDFS

cd /home/hadoop/hadoop-2.7.3/etc/hadoop
    vim hdfs-site.xml   复制官网（配置副本数，默认为1）

HDFS 是文件系统，启动前要进行格式化bash

格式化
        hdfs namenode -format
    启动 HDFS 
        start-dfs.sh

    基本操做
        显示目录
            hadoop fs -ls / 
        建立 test 文件夹
            hadoop fs -mkdir /test

YARN

cd /home/hadoop/hadoop-2.7.3/etc/hadoop
    cp -i mapred-site.xml.example mapred-site.xml
    vim mapred-site.xml     复制官网内容
    vim yarn-site.xml       复制官网内容

Spark 搭建

配置文件
        cd 
        vim .bashrc
    添加
        # Scala setting
        export SCALA_HOME=/home/scala/scala-2.12.1

        # Spark setting
        export SPARK_HOME=/home/spark/spark-2.1.0-bin-hadoop2.7
    修改 PATH 为
        export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
    使其生效
        source .bashrc

    配置文件
        cd /home/spark/spark-2.1.0-bin-hadoop2.7/conf
        cp -i spark-env.sh.template spark-env.sh
        vim spark-env.sh
    添加
        export SPARK_MASTER_IP=hadoop1
        export SPARK_MASTER_PORT=7077
        export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.3/etc/hadoop
        export SPARK_WORKER_CORES=2
        # 85% total memory
        export SPARK_WORKER_MEMORY=1g
        

    启动
        cd /home/spark/spark-2.1.0-bin-hadoop2.7/sbin
        start-all.sh

    页面浏览地址
        192.168.32.110:8080

    进入 Spark-shell
        spark-shell

最终的配置文件

配置文件--.bashrc
        cd 
        vim .bashrc

        添加
            # Java setting
            export JAVA_HOME=/home/java/jdk1.8.0_112

            # Hadoop setting
            export  HADOOP_HOME=/home/hadoop/hadoop-2.7.3

            # PATH setting
            export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

            # Scala setting
            export SCALA_HOME=/home/scala/scala-2.12.1

            # Spark setting
            export SPARK_HOME=/home/spark/spark-2.1.0-bin-hadoop2.7

            export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

    使其生效 
        source .bashrc

    配置文件--hadoop  
        cd /home/hadoop/hadoop-2.7.3/etc/hadoop

        vim hadoop-env.sh    在其中显示指明 JAVA_HOME 的地址

        vim core-site.xml    复制官网配(置机器名)
            <configuration>
                <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://机器名:9000</value>
                </property>
            </configuration>

    配置文件--HDFS
        cd /home/hadoop/hadoop-2.7.3/etc/hadoop
        vim hdfs-site.xml   复制官网（配置副本数，默认为1）
            <configuration>
                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                </property>
            </configuration>

    配置文件--YARN
        cd /home/hadoop/hadoop-2.7.3/etc/hadoop

        cp -i mapred-site.xml.example mapred-site.xml
        vim mapred-site.xml     复制官网内容
            <configuration>
                <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                </property>
            </configuration>

        vim yarn-site.xml       复制官网内容
            <configuration>
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
            </configuration>

    配置文件--Spark
        cd /home/spark/spark-2.1.0-bin-hadoop2.7/conf
        cp -i spark-env.sh.template spark-env.sh
        vim spark-env.sh
        添加
            export SPARK_MASTER_IP=hadoop1
            export SPARK_MASTER_PORT=7077
            export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.3/etc/hadoop
            export SPARK_WORKER_CORES=2
            # 85% total memory
            export SPARK_WORKER_MEMORY=1g

Ubuntu 经常使用命令

重启网络网络
```
service network-manager restart
```
配置 IP 子网掩码网关ssh
```
vim  /etc/network/interfaces
```
在Xshell中登录VMware中的Ubuntuoop
- 1. 安装 ssh apt-get install ssh
- 1. 修改 root 密码 passwd root
- 1. 配置文件，容许以 root 用户经过 ssh 登录
```
vim  /etc/ssh/ssh_config
    将 PermitRootLogin  prohibit-password
    改成 PermitRootLogin yes
    重启 ssh 服务:    service ssh restart
```
复制文件，并重命名spa
```
cp -i 文件名  新文件名
```
一直使用root
```
sudo -s
```