hadoop的基本搭建

Hadoop

 

Server1.example.com 172.25.23.1 master

Server2.example.com 172.25.23.2 slave

Server3.example.com 172.25.23.3 slave

Server4.example.com 172.25.23.4 slave

Selinux iptables disabled 加解析(节点间能够ping通) sshd enaled

 

Hadoop1.2.1

一Master上进行存储计算等 单机

useradd -u 900 hadoop

echo westos | passwd --stdin hadoop

su - hadoop

1.安装java (若原来的机子上有java先卸载)

(1)

sh jdk-6u32-linux-x64.bin

mv jdk1.6.0_32 /home/hadoop

ln -s jdk1.6.0_32 java

(2)添加路径

vim .bash_profile

export JAVA_HOME=/home/hadoop/java

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin

source .bash_profile

2.设置hadoop

tar zxf hadoop-1.2.1.tar.gz

ln -s hadoop-1.2.1 hadoop

3.无密码ssh设置

ssh-keygen

ssh-copy-id 172.25.23.1

ssh 172.25.23.1  测试确保无密码

4.配置文件进行修改

(1)设置从节点

vim hadoop/conf/slave

172.25.23.1

(2)设置主节点

vim hadoop/conf/master

172.25.23.1

(3) 修改java的家路径

vim hadoop/conf/hadoop-env.sh

 

(4) 修改Hadoop核心配置文件core-site.xml配置的是HDFS的地址和端口号指定 namenode

vim hadoop/conf/core-site.xml

 

(5) 指定文件保存的副本数

vim hadoop/conf/hdfs-site.xml

 

(6) 指定 jobtracker

vim hadoop/conf/mapred-site.xml

 

5.开启服务

(1) 格式化一个新的分布式文件系统

bin/hadoop namenode -format   

(2) 启动 Hadoop 守护进程

bin/start-all.sh = bin/start-dfs.sh + bin/start-mapred.sh

(3) 查看进程

a)jps

 

b)bin/hadoop dfsadmin -report

7.一些hadoop的经常使用命令 ( 相似于linux的命令只是在前面增长了hadoop特有的 )

bin/hadoop fs -ls

mkdir input

cp conf/*.xml input

bin/hadoop jar hadoop-examples-1.2.1.jar grep input output 'dfs[a-z.]+'

bin/hadoop fs -cat output/*

bin/hadoop fs -put conf/ input

bin/hadoop fs -get output output

 

8.浏览 NameNode 和 JobTracker 的网络接口,它们的地址默认为:

NameNode – http://172.25.23.1:50070/

 

点击Browse the filesystem 下的 /user/hadoop/ 可看到上传的

 

JobTracker – http://172.25.23.1:50030/

 

 

 

二分布式部署

先停掉master上的相关服务bin/stop-all.sh再删掉/tmp/*

slave

1.目录设置

useradd -u 900 hadoop

2.确保master能够和slave无密码链接

yum install -y rpcbind

/etc/init.d/rpcbind start (nfs的一个中介服务用来通知客户端)

3.同步数据 (nfs)

(1) 在master端 (分享节点root下进行)

/etc/init.d/nfs start  

vim /etc/exports

 

exportfs -rv

(2) 在slave端挂载

yum install -y nfs-utils

showmount -e 172.25.23.1

 

mount 172.25.23.1:/home/hadoop /home/hadoop

 

Master

1.修改配置文件

(1) vim  hadoop/conf/slave

172.25.23.2

172.25.23.3

(2) vim hadoop/conf/hdfs-site.xml

datanade保存2份

 

2.查看master可否与slave进行无密码链接

ssh 172.25.23.2

  若须要密码则进行以下操做

(1)进入hadoop用户查看权限显示(正确的应显示为hadoop)

 

(2)解析是否正确

(3)rpcbind是否开启

(4)若上述都正确则可进行

chkconfig rpcbind on

chkconfig rpcgssd on

chkconfig rpcidmapd on

chkconfig rpcsvcgssd on

reboot

 

则可无密码链接

3.启动服务

(1) 格式化一个新的分布式文件系统

bin/hadoop namenode -format   

(2) 启动 Hadoop 守护进程

bin/start-all.sh

(3) 查看进程

master

 

slave

 

(4) 上传文件

bin/hadoop fs -put conf/ input

(5) 访问 172.25.23.150030

 

可看到有2个节点

172.25.23.150070

 

有文件上传

 

三新增一个从节点(172.25.23.4)且将文件转移

1.新增节点和已经配置好的从节点作相同的设置

yum install -y nfs-utils rpcbind

useradd -u 900 hadoop

/etc/init.d/rpcbind start

vim /etc/hosts

showmount -e 172.25.23.1

mount 172.25.23.1:/home/hadoop /home/hadoop

2.在master端修改slaves

添加 172.25.23.4

3.在新增的从节点上启动服务加入集群

bin/hadoop-daemon.sh start datanode

bin/hadoop-daemon.sh start tasktracker

4.在master上查看

bin/hadoop dfsadmin -report

......

 

......

 

可看到新增的节点

5.均衡数据:

bin/start-balancer.sh

1)若是不执行均衡,那么 cluster 会把新的数据都存放在新的 datanode 上,这样会下降 mapred的工做效率

2)设置平衡阈值,默认是 10%,值越低各节点越平衡,但消耗时间也更长bin/start-balancer.sh -threshold 5

 

6.数据转移删除

(1) vim hadoop/conf/mapred-site.xml

添加以下内容

 

(2) 添加须要删除的主机名

 vim /home/hadoop/hadoop/conf/hostexclude

172.25.23.3

(3) bin/hadoop dfsadmin -refreshNodes

此操做会在后台迁移数据,等此节点的状态显示为 Decommissioned,就能够安全关闭了。能够经过bin/hadoop dfsadmin -report查看 datanode 状态

在作数据迁移时,此节点不要参与 tasktracker,不然会出现异常。

(4) 删除tasktracker可在172.25.23.3上直接中止(上边都没有node节点了)

 

四恢复垃圾文件

1.编辑垃圾文件保留时间

vim hadoop/conf/core-site.xml

 

 

2.测试

删除文件能够发现多出了一个 .Trash目录逐层进入该目录直到找到所删除的文件再将该文件mv到原来所在的目录里。能够发现 .Trash里面已经没有文件了。

 

 

 

Hadoop2.6.4

 

分布式部署(全部主从节点所有切换到su - hadoop )

 

一在和1.2.1版本相同的环境目录nfs等都不变

本次配置使用的是1.2.1的机子(里面的host rpcbind nfs 为作修改)在从新配置2.6.4时先停掉全部的1.2.1版的hadoop服务删掉java等连接删除 /tmp/下的文件等

二Java配置

2.6.4的版本要求6或7的java版本

1.下载java安装包 (在hadoop的家目录下)

jdk-7u79-linux-x64.tar.gz

tar zxf jdk-7u79-linux-x64.tar.gz

ln -s jdk1.7.0_79/ java

2.配置java路径 (同1.2的配置相同)

3.查看 版本号java -version

 

三Hadoop的配置

cd hadoop/etc/hadoop

1. vim core-site.xml

 

2. vim hdfs-site.xml

 

3. cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

 

 

4. vim yarn-site.xml

 

5. vim yarn-env.sh

 

6. vim etc/hadoop/hadoop-env.sh

 

7. vim slaves

172.25.23.2

172.25.23.3

172.25.23.4

四启动服务

1.格式化

tar xf hadoop-native-64-2.6.0.tar -C hadoop/lib/native lib中最好将原来的另外保存或删除将库文件改为64位的

bin/hdfs namenode -format

2.开启服务

sbin/start-dfs.sh  sbin/start-yarn.sh

3.查看进程

master

 

slave

 

 

5、上传文件

1.建立保存的目录( V1版本是自动建立的 )

 bin/hdfs dfs -mkdir /user

 bin/hdfs dfs -mkdir /user/hadoop 

 

2.上传文件

 mkdir input

cp etc/hadoop/*.xml input

bin/hdfs dfs -put input

bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output

 

3.访问

172.25.23.1:8088

 

172.25.23.1:50070

将后面的.jsp改为 .html便可访问该页面

 

 

 

 

 问题

1.datanade没有启动

在关闭节点时会发现 no datanade to stop 。

 

每次格式化后都会建立一个namenodeID而tmp下包含了上次的IDnamenode - format清除了namenode下的数据可是没有清空datanade下的数据致使启动失败所以每次格式化后都要清除掉主从节点下的/tmp/*的全部数据。

 

2.namenode in safe mode

执行bin/hadoop dfsadmin -safemode leave 便可

 

3.Exceeded MAX_FAILED_UNIQUE_FETCHES

这是由于程序中打开的文件太多了通常系统默认普通用户不得超过1024

 

能够切换到root修改 /etc/security/limits.conf

添加 hadoop  -  nproc  4096

  hadoop  -  nofile  65535

- 可表明的是软连接和硬连接 再切换到 hadoop 查看

 

 

4. vim hadoop/conf/core-site.xml

(在2.6.4下配置hadoop.tmp.dir参数)

<configuration>

       <property>

               <name>fs.defaultFS</name>

               <value>hdfs://172.25.23.1:9000</value>

     </property>

  <property>

               <name>hadoop.tmp.dir</name>

               <value>/home/hadoop/tmp</value>

     </property>

<property>

           <name>dfs.namenode.name.dir</name>

           <value>/home/hadoop/tmp/namedir</value>

     </property>

<property>

           <name>dfs.datanade.data.dir</name>

           <value>/home/hadoop/tmp/datadir</value>

     </property>

</configuration>

若没有配置这些参数则默认的临时目录是在/tmp/下而/tmp/目录每次重启都会清空必须从新format才能够