Hadoop学习---Hadoop集群搭建

1、安装环境及软件版本

 

　　一、操做系统centos 6.7 64位

　　二、配置好服务器的免密码登录（ssh）

　　三、安装好jdk,我安装的是jdk-7u80-linux-x64.tar.gz。

　　四、Hadoop集群角色分配：

　　　　HDFS集群:　　

　　　　hdp01 ： DataNode　　NameNode　　SecondaryNameNode

　　　　hdp02 ： DataNode 

　　　　hdp03 ： DataNode 

　　　　YRAN集群:

　　　　hdp01  :  NodeManager　　ResourceManager 

　　　　hdp02  :  NodeManager

　　　　hdp03  :  NodeManager

 

2、集群安装过程

 

　　第一步：建立安装目录，上传安装包，解压安装包，解压好的Hadoop目录以下：

        

　　

　　第二步：修改配置文件

 

　　一、修改$HADOOP_HOME/etc/hadoop/下的hadoop-env.sh，添加Java环境变量。

# The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.7.0_45

　　 二、目录同下，core-site.xml，配置内容以下：

<configuration>

  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hdp01:9000</value>
</property>

  <property>
     <name>hadoop.tmp.dir</name>
     <value>/root/apps/hadoop-2.6.5/tmp</value>
</property>

</configuration>

　　三、目录同下，hdfs-site.xml，配置内容以下：

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/data/name/</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/data/data/</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.secondary.http.address</name>
        <value>hdp01:50090</value>
    </property>
</configuration>

　　四、目录同下，mapred-site.xml，配置内容以下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

　　五、目录同下，yarn-site.xml，配置内容以下：

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hdp01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

</configuration>

　　六、目录同下，salves，配置内容以下：

hdp01
hdp02
hdp03
                                                                                                                                                                         

 

　　第三步：将配置好的Hadoop分发到其余2台服务器。

scp hadoop-2.6.5 -r root@hdp02:/root/apps/
scp hadoop-2.6.5 -r root@hdp03:/root/apps/

 

　　第四步、启动集群，测试集群是否部署

　　一、初始化HDFS

bin/hadoop namenode -format

　　二、启动HDFS

sbin/start-dfs.sh

　　三、启动YARN

sbin/start-yarn.sh

　　四、查看是否启动成功，jps命令显示，进程都启动成功了