Ubuntu上安装Hadoop集群

原文地址：itweknow.cn/detail?id=6… ，欢迎你们访问。

前面咱们介绍了在Ubuntu上安装Hadoop单机版。可是咱们知道，Hadoop在实际工做中都是以集群的形式存在的，毕竟须要处理大量的数据，单机的处理速度显然不能知足。因此这篇文章咱们就来介绍一下如何在Ubuntu上搭建Hadoop 集群。

准备阶段

• 三台在同一局域网内的Linux机器或者虚拟机。
• 配置好Host文件，让三台机器能够经过主机名进行访问。
• 三台机器上都安装了JDK。
• 在其中一台上安装好Hadoop，安装方法能够参考前面的文章。

配置SSH免密登陆

你可能很奇怪我要搭建的是Hadoop集群，为啥须要配置SSH免密登陆呢。有两点缘由：

1. 在启动集群上全部的节点的时候无需重复输入密码。
2. 咱们在搭建集群的时候须要将Hadoop的文件夹复制到其余机器上，若是是一两台的话copy起来很快， 可是若是是几百台呢，因此这个时候若是机器之间能够免密登陆的话咱们能够很方便的使用脚本完成整个工做。 具体的配置方式能够看下我以前的文章，SSH免密登陆（内含批量配置脚本）

修改单机版的配置文件

1. 修改core-site.xml，只须要修改fs.defaultFS配置项便可，hadoop.tmp.dir不须要修改。

<property>
    <name>fs.defaultFS</name>
    <!-- 修改成namenode的地址，改为主机名 -->
    <value>hdfs://test:9000</value>
</property>
复制代码

2. 修改``hdfs-site.xml`，主要是修改HDFS存储文件副本的数量，以前单机版的时候设置为1，如今改成2（这个配置项默认的配置为2）。

<!-- 指定HDFS副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

复制代码

安装包复制，并设置环境变量

其实在咱们搭建好一台机器的Hadoop环境后只须要下面几步就能够完成集群环境的搭建了：

1. 将Hadoop的安装目录拷贝到其余机器上。
2. 在其余机器上配置Hadoop环境变量。
3. 执行source /etc/profile命令，使得环境变量生效。
4. 修改namenode的slave文件，指定datanode是哪几台机器

前面两步我写好了脚本，直接执行一下就能够了。第3步中说的slave文件在hadoop的安装目录下的etc/hadoop/slave，我这里用的test01和test02两台机器作datanode。

test01
test02
复制代码

脚本地址 附上脚本使用说明

1. 须要保证脚本文件夹中的两个脚本文件在同一目录下。
2. 若是Hadoop的安装目录不为/root/apps/hadoop/hadoop-2.8.5，则须要修改脚本中hadoop的安装位置（两个脚本中都须要修改）。
3. 修改脚本中机器名称，SERVERS变量。

环境启动

1. 在namenode机器上执行下面的命令

   start-all.sh
   复制代码

2. 在浏览器中访问`http://{机器IP}:50070，查看到以下结果即表明成功。