Hadoop 集群cluster搭建

Hadoop集群cluster环境的搭建，能够参考官方文档：

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html

2015-12 搭建Hadoop cluster环境于公司云环境，这里云环境中，每台机器有两个IP，一个是云环境内其自己的IP，另外一个是咱们访问云端服务器使用的IP。而Hadoop的配置主要使用的是其自己的IP。

hosts以下：

192.168.0.8  hadoop1

192.168.0.16  hadoop2

192.168.0.12  hadoop3

192.168.0.15  hadoop4

其中hadoop1位master，其他为slave。hadoop1中配置namenode和resourcemanager，其余做为slave配置datanode和nodemanager。

搭建过程以下：

首先暗转Java，下载hadoop安装包。

安装ssh和rsync。

  $ sudo apt-get install ssh
  $ sudo apt-get install rsync

使用ssh-keygen命令生成密钥并配置这四台服务器，使得他们能够两两无密码ssh访问。由于在hadoop启动中止等操做时，会由master经过ssh方式访问各个slave。因此要保证他们能够ssh直接访问。

配置环境变量：

export JAVA_HOME=/usr/java/jdk1.7.0_79
export JRE_HOME=/usr/java/jdk1.7.0_79/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export HADOOP_HOME=/apphome/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export HADOOP_PREFIX=/apphome/hadoop

而后就是每台服务器的hadoop自身的配置了，配置文件目录：$HADOOP_HOME/etc/hadoop

配置Hadoop中的环境变量，在hadoop-env.sh，mapred-env.sh和yarn-env.sh中配置JAVA_HOME。

每台机器上增长文件slaves

[appadmin@hadoop2 hadoop]$ cat slaves
hadoop2
hadoop3
hadoop4

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/apphome/hd/fstmp</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/apphome/hd/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/apphome/hd/datanode</value>
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>
</configuration>

访问：http://10.120.20.208:50070/dfshealth.html#tab-overview

本文不是搭建环境时撰写，须要在之后搭建环境时再次验证。