Hadoop 2.2.0集群搭建

时间 2019-12-05

标签 hadoop 2.2.0 集群搭建栏目 Hadoop 繁體版

原文原文链接

1、环境说明html

一、虚拟机平台：VMware10java

二、Linux版本：ubuntu-12.04.3-desktop-i386node

三、JDK：jdk1.7.0_51web

四、Hadoop版本：2.2.0apache

五、集群节点：3个，分别是hadoopMaster，hadoopSlave1，hadoopSlave2ubuntu

注明：文中fyzwjd是虚拟机用户名。oracle

2、准备工做app

一、安装虚拟机平台，并新建一个Ubuntu虚拟机，记为hadoopMaster。ssh

二、在hadoopMaster上安装JDK。webapp

Jdk通常有两个版本：Open JDK、SunJDK，建议使用Sun JDK。安装步骤以下：

先去 Oracle下载Linux下的JDK压缩包，http://www.oracle.com/technetwork/java/javase/downloads/index.html，下好后直接解压。

进入在存放jdk文件夹的当前目录，将解压好的jdk1.7.0_51文件夹用最高权限复移动到/usr/lib/jvm目录里，此时即便没有jvm目录也能够执行以下命令，jvm文件夹将获得建立。

[plain] view plain copy

sudo mv jdk1.7.0_51 /usr/lib/jvm/

接下来须要设置环境变量，进入当前用户名的主文件夹，修改.profile文件。注意，该文件是当前用户的配置文件，若是要对使用计算机的全部用户生效，那么须要设置的文件应该是 /etc/profile。

[plain] view plain copy

sudo gedit ~/.profile

在末尾加上:

[plain] view plain copy

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51
exportJRE_HOME=/usr/lib/jvm/jdk1.7.0_51/jre
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

而后保存关闭，此时在命令行输入java -version将会仍然显示java没有安装。此时，须要使用source更新下.profile文件：

[plain] view plain copy

$ source ~/.profile

再次使用java -version命令能够看到以下输出：

[plain] view plain copy

fyzwjd@ubuntu :~$ java -version
java version "1.7.0_51"
Java(TM) SE Runtime Environment (build1.7.0_51-b18)

到此，已经将oracle jdk配置完成。若是以前系统里面已经安装了openjdk，可使用以下方法将默认jdk更改过来：

[plain] view plain copy

$ sudo update-alternatives --install/usr/bin/java java /usr/lib/jvm/jdk1.7.0_51/bin/java 300

输入sun jdk前的数字就行了

[plain] view plain copy

$ sudo update-alternatives --install/usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_51/bin/javac 300
$ sudo update-alternatives --config java
$ sudo update-alternatives --config javac

三、安装SSH

能够先检查是否已经有ssh，也能够跳过这步，直接安装。

[plain] view plain copy

$ sudo ps -ef | grep ssh

若是只有 ssh-agent 就须要安装openssh-server了。

[plain] view plain copy

$ sudo apt-get install ssh openssh-server

四、配置SSH公钥

[plain] view plain copy

$ ssh-keygen -t rsa -P "yourPassWord"

[plain] view plain copy

$ ssh-keygen -t rsa -P "yourPassWord"

ssh-kengen 是用连字符连着的，千万不要分开。另外，密码是你的虚拟机密码，而不是空（固然，若是你的虚拟机密码为空，另当别论）。

五、创建IP和hadoop节点的映射关系

修改etc/hosts文件，在上面加入hadoop节点IP和名称的映射关系。

[plain] view plain copy

$ sudo gedit /etc/hosts

在其中加上（ip是节点可配置的ip，本身设定）：

[plain] view plain copy

192.168.32.*** hadoopMaster
192.168.32.*** hadoopSlave1
192.168.32.*** hadoop Slave2

六、克隆两个Ubuntu虚拟机，做为hadoop的其余两个节点

七、分别修改三个Ubuntu虚拟机的名称

[plain] view plain copy

$ sudo gedit /etc/hostname

分别将三个虚拟机名称改成：hadoopMaster，hadoopSlave1，hadoopSlave2。
八、修改三个Ubuntu虚拟机的IP

3、配置SSH无密码登录。

其目的是让hadoopMaster免密码登录hadoopSlave1和hadoopSalve2，步骤以下：

一、在hadoopMaster上建立受权文件authorized_keys

进入~/.ssh/目录下执行”ls –a”，发现开始是没有authorized_keys文件的，可使用如下两种方法来生成：

(1) 将id_rsa.pub追加到authorized_keys受权文件中;

[plain] view plain copy

$ cat id_rsa.pub >> authorized_keys

(2) 复制id_rsa.pub 为 authorized_keys

[plain] view plain copy

$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

完成后就能够无密码登陆本机了，能够尝试登录localhost

[plain] view plain copy

$ ssh localhost

二、将受权文件拷贝到hadoopSlave一、hadoopSlave2相同文件夹下

[plain] view plain copy

$ scp authorized_keys fyzwjd@hadoopSlave1:~/.ssh/authorized_keys
$ scp authorized_keys fyzwjd@hadoopSlave2:~/.ssh/authorized_keys

拷贝过程须要密码，拷贝以后就能够免密码登录hadoopSlave1和hadoopSlave2了。

4、安装Hadoop2.2，搭建集群

一、在hadoopMaster上安装hadoop

首先到Apache官网上下载hadoop2.2的压缩文件，将其解压到当前用户的根文件夹中（home/fyzwjd/），将解压出的文件夹更名为hadoop。

[plain] view plain copy

$ sudo mv hadoop-2.2.0 hadoop

配置以前，先在本地文件系统建立如下文件夹：~/hadoop/tmp、~/dfs/data、~/dfs/name。主要涉及的配置文件有7个：都在/hadoop/etc/hadoop文件夹下，能够用gedit命令对其进行编辑。

[plain] view plain copy

~/hadoop/etc/hadoop/hadoop-env.sh
~/hadoop/etc/hadoop/yarn-env.sh
~/hadoop/etc/hadoop/slaves
~/hadoop/etc/hadoop/core-site.xml
~/hadoop/etc/hadoop/hdfs-site.xml
~/hadoop/etc/hadoop/mapred-site.xml
~/hadoop/etc/hadoop/yarn-site.xml

        (1)     配置文件1：hadoop-env.sh
              修改JAVA_HOME值（export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51）
        (2)     配置文件2：yarn-env.sh
              修改JAVA_HOME值（export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51）
        (3)     配置文件3：slaves

[plain] view plain copy