Hadoop(Install)

安装目标：一个namenode 和 2 个datanode，假定已用户名zhaomeng和密码zhaomeng进行

虚拟机：3个centos 64（桥接模式）

    1.192.168.203.129 master_centos64_1

    2.192.168.203.130 slave_centos64_2

    3.192.168.203.138 slave_centos_3

准备工做：

    1.启动三个虚拟机master_centos64_1

    2.检查ssh是否安装和sshd是否启动(能否互相ssh，端口号默认是22)

    3.若想配置好记的机器名，能够sudo vi /etc/hostname将HOSTNAME改为本身喜欢的

    4.若想只用机器名，能够sudo vi /etc/hosts更改路由表 (hosts文件优先于路由器)

    5.(optional)检查防火墙iptable

    6.在三台机器上建立相同用户，如zhaomeng, 加入sudoers列表和root用户组

        a.useradd -G root zhaomeng

        b.sudovi /etc/sudoers 正加root相似的一行 

root ALL(ALL)  ALL
      zhaomeng ALL(ALL)  ALL

    7.配置用户zhaomeng在三台机器相互间免密码ssh

        a.(master1)cd /home/zhaomeng

        b.(master1)ssh-keygen以后直接3个回车或者ssh-keygen -t rsa -P ''      (在主目录生成.ssh/idrsa和.ssh、id_rsa.pub)

        c.(master1)cat .ssh/id_rsa.pub >> .ssh/authorized_keys

        d.(slave2和slave3)执行ab并将id_rsa.pub文件均scp至master1，并执行c

        e.(master1)将包含3个公钥的authorized_keys文件scp至slave2和slave3

        f.(master1,slave2,slave3)chmod 600 .ssh/authorized_keys(很是重要，不然不起效)

        g.(master1,slave2,slave3)三台机器之间相互测试时候能够无密码ssh   (第一次均须要确认是否记住凭证，选择yes)

    8.(master1,slave2,slave3)下载和安装JDK7，并设置必要的JAVA_HOME和PATH变量

    9.(master1)下载hadoop2.6.3，解压至/home/zhaomeng/hadoop263  (hadoop263下路目录为bin sbin etc libexec lib 等)

    10.(master1,slave2,slave3)设置环境变量

            vi /etc/profile 加入以下内容

export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/home/zhaomeng/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME

        并使之生效source /etc/profile 

    11.(master1)配置HADOOP_HOME/etc/hadoop/core.site.xml    hdfs.site.xml   yarn.site.xml (mapred-site.xml) slaves 以及hadoop-sne.sh和yarn-env.sh (两个sh文件主要是加入JAVA_HOME变量)

    12.(master1)mkdir logs tmp data 

    13.(master1)将HADOOP_HOME整个文件夹scp至slave2和slave3,并保持和master1同样的目录结构

    14.(master1)格式化namenode，执行HADOOP_HOME/bin/hdfs namenode -format

    15.(master1)启动hdfs，执行HADOOP_HOME/sbin/start-dfs.sh

    16.(master1)启动yarn，执行HADOOP_HOME/sbin/start-yarn.sh

    17.几个网址

            http://master1:8088/

            http://master1:50070/ 

    18.待续

 

附录几个文件

core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.203.129:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/zhaomeng/hadoop/tmp</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.webhdfs.enable</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.ipc.address </name>
<value>0.0.0.0:50020</value>
</property>
<property>
<name>dfs.datanode.http.address</name>
<value>0.0.0.0:50075</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/zhaomeng/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/zhaomeng/hadoop/data</value>
</property>
</configuration>

 yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

slaves

slave_centos64_2
slave_centos_3