Hadoop环境搭建之Hadoop安装

1、说明

十一、软件选择

jdk：jdk-6u45-linux-x64-rpm.bin ，下载地址：https://yunpan.cn/cS429Bvah7mgv （提取码：a0b5）

hadoop：hadoop-1.1.2.tar.gz ，下载地址：https://yunpan.cn/cS42GnmRa8TDd （提取码：aefa）

十二、服务器说明

咱们使用三台服务器部署hadoop，其中服务器h1做为namenode节点，h二、h3做为datanode节点。三台服务器的ssh配置详见 Hadoop环境搭建之SSH免密码相互访问 

1三、linux服务器版本：CentOS 5.8 64bit

2、jdk安装

因为hadoop是java写的，那么jdk的安装就不可少了。若是linux系统中已经有jdk那么最好先卸载掉，避免因为版本太低或者太高形成hadoop不能正常安装。

2一、将jdk文件赋予可执行权限

chmod +x jdk-6u45-linux-x64-rpm.bin

2二、执行命令，将其生成rpm文件，命令以下

./jdk-6u45-linux-x64-rpm.bin

2三、执行22步骤生成的rpm文件，命令以下

rpm -ivh jdk-6u5-linux-amd64.rpm

2四、设置jdk的环境变量

在/etc/profile文件的“export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC”内容上添加一下内容

export JAVA_HOME=/usr/java/jdk1.6.0_45
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

3、安装hadoop

一、在根目录下建立一个名字为“bdata”的文件夹

mkdir /bdata

二、将hadoop-1.1.2.tar.gz在bdata中解压，最后生成hadoop-1.1.2文件

tar -zxvf hadoop-1.1.2.tar.gz

三、修改配置文件

3一、修改/bdata/hadoop-1.1.2/conf/core.site.xml文件，将其内容修改成

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/bdata/hadoop-1.1.2/hadooptmp</value>
  <description>A base for other temporary directories.</description>
</property>
<property>
  <name>fs.default.name</name>
  <value>hdfs://h1:9000</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>
</configuration>

其中/bdata/hadoop-1.1.2/hadooptmp是存放hadoop相关数据的目录，h1为namenode节点。

3二、修改/bdata/hadoop-1.1.2/conf/hdfs-site.xml文件，将其内容修改成：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
  <name>dfs.replication</name>
  <value>2</value>
  <description>Default block replication. 
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
</property>
</configuration>

其中dfs.replication的值2表示数据块会被保存2份，这个机制是防止数据丢失。

3三、修改/bdata/hadoop-1.1.2/conf/mapred-site.xml文件，将其内容修改成：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>h1:9001</value>
  <description>The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  </description>
</property>
</configuration>

3四、修改/bdata/hadoop-1.1.2/conf/masters文件，将其内容修改成：

h1

此文件的内容是指定namenode节点服务器

3五、修改/bdata/hadoop-1.1.2/conf/slaves文件，将其内容修改成：

h2
h3

此文件的内容是指定datanode节点服务器

36，在hadoop-1.1.2目录下车间hadooptmp文件，此文件用于存放hadoop的数据，切换到hadoop-1.1.2下，并执行如下命令

mkdir hadooptmp

3七、将配置好的hadoop-1.1.2发送到h二、h3的根目录下，在h1下分别执行如下命令

scp -r /bdata root@h2:/

scp -r /bdata root@h3:/

4、启动hadoop

4一、切换到/bdata/hadoop-1.1.2/bin目录下，并执行格式化hadoop的目录，此命令是在/bdata/hadoop-1.1.2/hadooptmp下生成hadoop须要的目录，相关命令以下：

cd /bdata/hadoop-1.1.2/bin

./hadoop namenode -format

4二、启动hadoop

./start-all

4三、经过命令"jps"，h1中打印出了＂NameNode SecondaryNameNode JobStracker＂，

在h二、h3中打印出"DataNode TaskTracker" 就说明hadoop已经正常安装。