CenterOS下搭建Hadoop环境

 

检查防火墙状态

service iptables status

关闭防火墙

service iptables stop

查看防火墙开机启动状态

chkconfig iptables --list

关闭防火墙开机启动

chkconfig iptables off

安装JDK

查看目前系统jdk

rpm -qa | grep jdk
结果为：
java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

卸载：

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

下载JDK

下载地址： http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

• 使用命令下载
• 下载完成后，拷贝到指定目录（把jdk-7u79-linux-x64.tar.gz放到CentOS目录/usr/lib/jvm中）

解压JDK

• tar xvf jdk-7u79-linux-x64.tar.gz

配置环境

vi /etc/profile

在文件最下边输入：
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_4579
export JRE_HOME=/usr/lib/jvm/jdk1.7.0_4579/jre
export CLASSPATH=.:$JRE_HOME/lib/tr.jar:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

使其当即生效:

source /etc/profile

验证:

java -version

下载hadoop

http://mirror.bit.edu.cn/apache/hadoop/common/

安装

• 解压： tar xvf jdk-7u79-linux-x64.tar.gz
• 配置hadoop环境：vi /etc/profile

# set hadoop path
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• source /etc/profile
• 修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79

• 伪分布式Hadoop2.6.0配置

etc / hadoop / core-site.xml:
<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>
etc / hadoop / hdfs-site.xml:
<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
</configuration>

• 启动Hadoop2.6.0

进入hadoop的bin目录
cd /usr/local/hadoop/bin
格式化Hadoop的文件系统HDFS
hdfs namenode -format
进入hadoop的sbin目录
cd /usr/local/hadoop/sbin
启动全部进程
start-all.sh

hdfs namenode -format（可能出现的问题）

• SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: xxx
  • 解决方案：http://blog.csdn.net/shirdrn/article/details/6562292
  • 修改了hostname发现重启才生效：service network restart

用jps查看启动的进程

Jps
ResourceManager
NameNode
DataNode
SecondaryNameNode
NodeManager

浏览器访问

• 浏览器访问：http://localhost:50070
• hadoop进程管理页面http://localhost:8088

参考资料

• hadoop2.6.0版本集群环境搭建: http://blog.csdn.net/stark_summer/article/details/42424279
• namenode -format 出现问题：http://blog.csdn.net/shirdrn/article/details/6562292