hadoop1.2.1伪分布式安装

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

   java -version #查看java 版本号

java version "1.7.0_25"

Java(TM) SE Runtime Environment (build 1.7.0_25-b15)

Java HotSpot(TM) 64-Bit Server VM (build 23.25-b01, mixed mode)

jdk安装完毕！！！！！！！！

###################################################################

1.安装hadoop   su hadoop 

进入hadoop 用户

下载hadoop源码安装包

https://archive.apache.org/dist/hadoop/common/

解压安装包  tar -zxvf hadoop-1.2.1.tar.gz

配置环境变量

vim .bash_profile 

#hadoop-1.2.1

export HADOOP_HOME=/home/hadoop/hadoop

export HADOOP_BIN=/home/hadoop/hadoop/bin

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

 source .bash_profile 

2.配置hadoop用户无密码登录

cd

#ssh-keygen -t rsa  --------------------而后一直按回车键，就会按照默认的选项将生成的密钥保存在.ssh/id_rsa文件中。

  ls -a 

   默认在 ~/.ssh目录生成两个文件：

    id_rsa      ：私钥

    id_rsa.pub  ：公钥

#cd ~/.ssh

#cp id_rsa.pub authorized_keys 

       或者cat ~/.ssh/id_rsa.pub >> .ssh/authorized_keys  

ssh lj-hd

The authenticity of host 'lj-hd (172.16.2.186)' can't be established.

RSA key fingerprint is 00:8a:8e:66:6d:c6:b2:50:68:71:3b:43:4d:a0:1a:da.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'lj-hd,172.16.2.186' (RSA) to the list of known ho

sts.Last login: Fri Mar 25 10:49:39 2016 from 172.16.2.236

这步完成后，正常状况下就能够无密码登陆本机了，无需输入密码。

ssh无密码登录安装完毕！！！！！！！！！！！！！！！！！

3.hadoop的配置文件目录

cd /home/hadoop/hadoop/conf

hadoop的运行环境

vim hadoop-env.sh   添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_25   ##运行的java环境

export HADOOP_HOME=/home/hadoop/hadoop       ##运行的hadoop环境

 vim core-site.xml

<configuration>

<property>

<!--配置hdfs文件系统的路径-->

 <name>fs.default.name</name>

  <value>hdfs://lj-hd:9000</value> 

  </property>

</configuration>

vim hdfs-site.xml

<property>

    <!--开启web hdfs-->

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

 </property>   #初装能够不要

<property>

<!--文件备份个数-->

        <name>dfs.replication</name>

        <value>1</value>

</property>

 vim mapred-site.xml

<configuration>  

  <property>  

        <name>mapred.job.tracker</name>  

        <value>lj-hd:9001</value>  

    </property>  

</configuration> 

格式化：要先格式化HDFS:

  hadoop namenode -format

[hadoop@lj-hd ~]$ hadoop namenode -format

Warning: $HADOOP_HOME is deprecated.

16/03/25 11:35:03 INFO namenode.NameNode: STARTUP_MSG: 

/************************************************************

开启集群

start-all.sh

关闭集群 

stop-all.sh 

jps查看守护进程启动状况

27673 SecondaryNameNode

27761 JobTracker

27536 DataNode

27882 TaskTracker

27421 NameNode

27936 Jps

web端口验证

http://172.16.2.186:50070/jobtracker.jsp  

http://172.16.2.186:50070/dfshealth.jsp

hadoop伪分布式安装完毕！！！！！！！！！！

#################################################################

配置文件名                                 意义描述

hadoop-env.sh                              hadoop启动须要的环境变量配置文件  

core-site.xml                              hadoop核心参数配置文件                

hdfs-site.xml                              hdfs主配置文件              

mapred-site.xml                            mapreduce主配置文件（jt）                

masters                                    secondnamenode的主机名列表配置文件      

slavers                                    全部从节点的主机名列表                   

hadoop-metrics2.properties                 metrics统计信息配置文件                

log4j.properties                           hdfs审计日记log4j配置文件       

mapred-queue-acls.xml                      用户队列的acl权限控制配置文件            

fair-scheduler.xml                         公平调度器主配置文件                  

capacity-scheduler.xml                     容量调度器主配置文件