hadoop 第一课 启动dfs 文件系统

一. 准备环境  

 1.  装机  centerOs 6.8.    机器名称为

/etc/hostname 文件   修改主机名称

 node1, node2,node3 ,ip是 192.168.244.81~~~83  ,所有进行以下操做

登入用户名为root

3. 配置 hosts 文件

 在文件   /etc/hosts  添加

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.244.81  node1
192.168.244.82  node2
192.168.244.83  node3
192.168.244.84  node4
192.168.244.85  node5
192.168.244.86  node6
192.168.244.87  node7
192.168.244.88  node8
192.168.244.89  node9

 2. jdk     配置环境变量    

下载jdk 解压文件   tar -zxvf 文件名称

  在 文件   /etc/profile    最后面添加 

export JAVA_HOME=/root/axiazai/jdk1.7.0_80
export JRE_HOME=$JAVA_HOME/jre 
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib 
export PATH=$JAVA_HOME/bin:$PATH

 

4.免密码登入  --在hadoop官网上有详细介绍

1. root用户在node1机器上生成密钥

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 

在/root/.ssh/下生成三个文件 ,以下

id_dsa id_dsa.pub known_hosts

2 .拷贝 node1下的文件到 node2机器下的 /root目录

$ scp id_dsa.pub root@node2:~

3. 在node2 机器上 运行 以下: 把密钥 转换成文件 ,拷贝进密钥文件

cat ~/id_dsa.pub >> ~/.ssh/authorized_keys

5.关闭防火墙

service iptables stop

 

二. hadoop环境

 1. 下载 hadoop-1.2.1.tar.gz  存放到    /root/  

 2.    tar -zxvf    文件名称

3.建立连接   root/hadoop连接  到   /home/hadoop下面

 ln -sf /root/hadoop-1.2.1 /home/hadoop-1.2

 

 

三.修改hadoop配置文件 

注意, 必定要用vi 编辑器,   修改 ,不然出现其余的错误

1.修改/hadoop-1.2/conf/core-site.xml

<property>

<name>fs.default.name</name>

<value>hdfs://node1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-1.2</value>

</property>

 说明:  hadoop.tmp.dir 是工做空间,  这个文件会自动建立

2.修改/conf/hdfs-iste.xml

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

 说明:  dfs.replication    dfs文件负责的数量

3.修改   /conf/slave

'

4.  修改 masters 

说明:  masters  是指定 secondNameNode  机器的在哪台服务器上,不要和node1 一块儿,因此是node2

5. 为hadoop 添加java 环境变量  :  conf/hadoop-env.sh

在 # export JAVA_HOME=/usr/lib/j2sdk1.5-sun

修改为 jdk所在路径 ,所有替换客户机资料

 

6.拷贝全部的配置文件   到全部的客户机

在 conf文件下 拷贝全部的文件到 目标目录

scp ./* root@node2:/home/hadoop-1.2/conf/

 

 

四.启动hdfs 

1.先要格式化  /opt/tem文件  

./hadoop namenode -format

 2.启动 ./start-dfs.sh 

 每次启动,记得关闭程序

 

3.显示 结果 

  node1:

node2:

node3

4.web显示

 访问地址: http://192.168.244.81:50070