hadoop-1.2.0集群安装与配置
http://bbs.itcast.cn/thread-17487-1-1.htmlhtml
、硬件环境一、windows7旗舰版64位
二、VMwareWorkstationACE版6.0.2
三、RedhatLinux5
四、Hadoop-1.2.0
java
| Windows |
VM |
[url=]虚拟机器Linux[/url] |
IP |
做用 |
| Window7 64位 |
VMwareWorkstation |
Redhat1 |
192.168.24.250 |
NameNode、master、jobTracker |
| Redhat2 |
192.168.24.249 |
DataNode、slave、taskTracker |
||
| Redhat3 |
192.168.24.248 |
DataNode、slave、taskTracker |
3、安装VMwareWorkstation和RedhatLinux5
一、VMwareWorkstation和RedhatLinux5的安装，网上处处都是，我也是在网上随便找的，你能够找写得更详细准确的，这里再也不赘述，可参考：
注：当你在虚拟机上安装完一个Linux后，不要重复安装步骤，使用虚拟机带的克隆功能，能够很容易复制出多台如出一辙的Linux。
可参考：
完成这一步骤后的效果
4、安装配置Hadoop
一、安装hadoop前先配置Linux
（1）更改三台机器的网络链接方式
选中要更改的虚拟机，右击-设置（Settings）
（2）以root用户登陆Linux，设置IP地址和默认网关（三台机器都要设置）
输入vi/etc/sysconfig/network-scripts/ifcfg-eth0，（vi的使用再也不赘述，不懂本身网上查）修改该文件内容为：
DEVICE=eth0
BOOTPROTO=static
IPADDR=192.168.24.250
GATEWAY=192.168.27.254
NETMASK=255.255.255.0
ONBOOT=yes
IP地址和默认网关根据本身须要进行设置
（3）配置虚拟机的主机名（三台机器都要设置）
输入vi/etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=redhat1
（4）配置主机名与ip地址的对应关系（三台机器都要设置）
输入vi/etc/hosts
127.0.0.1localhost
192.168.24.250redhat1
192.168.24.249redhat2
192.168.24.248redhat3
这是标准内容。去掉多余的，不然可能出现Hadoop在master查看livenodes为0
（5）关闭防火墙（三台机器都要设置）
输入chkconfigiptablesoff开机不启动防火墙
输入serviceiptablesstop关闭当前防火墙服务
固然也能够设置防火墙对hadoop放行，为了简单起见，我这里就直接关闭防火墙了。
（6）测试网络是否联通
设置完成以后，在每台虚拟机之间执行ping命令，保证虚拟机之间网络没有问题
如：ping192.168.24.249
二、创建linux之间ssh无密码登陆
到此为止，铺垫工做算是作完了。
三、安装和配置JDK（三台机器都要安装）
四、安装hadoop（三台机器都要安装）
（1）到hadoop官网下载hadoop1.2.0
（2）使用ftp上传到linux，若是不懂，能够参考个人文章：
（3）解压安装
进入hadoop-1.2.0.tar.gz所在的目录
输入：
tar-zvxfhadoop-1.2.0.tar.gz
即安装完毕
五、配置Hadoop（三台机器都要设置）
（1）配置hadoop环境变量
和设置jdk环境变量同样
命令：vi/etc/profile
在文件最后输入：
exportHADOOP_HOME=/usr/local/hadoop-1.2.0
exportPATH=$PATHHADOOP_HOME/bin
执行命令source/etc/profile使profile生效
（2）配置hadoop运行参数
更改hadoop安装路径下/conf/hadoop-env.sh的文件（三台机器都要设置）
第9行加入exportJAVA_HOME=/usr/java/jdk1.7.0_21
更改hadoop安装路径/conf/masters和slaves两个文件。（只配置192.168.24.250虚拟机）
masters中输入：192.168.24.250
slaves中输入：
192.168.24.249
192.168.24.248
配置hadoop安装路径/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三个文件。(三台机器都要设置)
core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.24.250:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp</value>
</property>
</configuration>
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml：
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.24.250:9001</value>
</property>
</configuration>
（3）格式化文件系统
命令：Hadoopnamenode–format
至此hadoop已经安装配置完毕了。
5、测试
一、启动hadoop
在192.168.24.250机器上执行以下指令，启动hadoop安装目录bin下：
Start-all.sh
对于hadoop来讲，启动全部进程是鼻血的，可是若是有必要，你依然能够只启动HDFS（start-dfs）或MapReduce（start-mapred.sh）
Web浏览器监视HDFS文件系统状态和MAPREDUCE执行任务的状况。
HDFS文件系统
二、运行hadoop自带的wordcount示例
依次执行命令：
echo“Itisadog”>input1
echo"itisnotadog">input2
hadoopfs-mkdirinput
hadoopfs-copyFromLocal/root/input*input
hadoopjar/usr/local/hadoop-1.2.0/hadoop-examples-1.2.0.jarwordcountinputoutput
能够查看运行状态
查看运行结果
至此所有成功！6、总结利用多台虚拟机模拟的hadoop集群环境基本搞定，剩下的就是根据须要再作详细的配置了。若是要移植到物理存在的机器上，只需把虚拟机上的安装方式直接搬过去用就能够了。接下来，还会继续出一篇文章介绍eclipse链接远程hadoop集群进行开发，其中也涉及一些比较麻烦的问题，不过幸亏都解决了，立刻整理出来，期待吧。