ubuntu 安装hadoop 伪分布模式

1/首先在官网下载hadoop文件,hadoop-0.23.6.tar.gz

2/系统下要安装jdk java

个人系统jdk安装在:JAVA_HOME=/usr/lib/jvm/java-6-oracle node

3/解压hadoop-0.23.6.tar.gz文件: linux

tar -xvzf hadoop-0.23.6.tar.gz

给文件设置全部者 shell

#chown -R tianbx:tianbx title.txt



4/编辑 conf/hadoop-env.sh文件,至少须要将JAVA_HOME设置为Java安装根路径。 apache

5/建立一个纸箱hadoop的安装目录的环境变量,将二进制目录放到命令行路径上。 ubuntu

export HADOOP_INSTALL=/home/hadoop/
export PATH=$PATH:$HADOOP_INSTALL/bin
这样就能够不用加hadoop路径了,直接使用hadoop命令:
hadoop versionHadoop 0.20.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010
root@tianbaoxing-virtual-machine:/home/hadoop/java#
6/hadoop中的每个组件都是用一个xml文件配置。核心属性在core-site.xml中,HDFS属性在hdfs-site.xml中,MapReduce属性在mapred-site.xml.这些文件都在conf子目录下。


在一个特定的模式下运行hadoop时,须要注意:(1)设置适当的属性,并启动hadoop的守护进程。 oracle

7/修改conf/core-site.xml,改成: ssh

viewplaincopytoclipboardprint?  
<configuration> 
<property> 
<name>fs.default.name</name> 
<value>hdfs://localhost:9000</value> 
</property> 
<property>
   <name>hadoop.tmp.dir</name>
   <value>/home/data/hadoop</value>
   <description>A base for other temporary directories.</description>
</property>
</configuration>
8/修改conf/hdfs-site.xml,改成:
viewplaincopytoclipboardprint?  
<configuration> 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 
</configuration>

9/修改conf/mapred-site.xml,改成: jvm

viewplaincopytoclipboardprint?  
<configuration> 
<property> 
<name>mapred.job.tracker</name> 
<value>localhost:9001</value> 
</property> 
</configuration>

默认状况下,Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试很是有帮助。 分布式

10/设置本机ssh本机无密码

 先测试一下,输入命令sshlocalhost,若是提示密码,则须要进行如下操做:
 $ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
 $cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

11/格式化namenode:
 $bin/hadoopnamenode-format

12/启动Hadoop:
 $bin/start-all.sh


13/关闭hadoop

$bin/hadoop/stop-all.sh


进入hadoop主目录的bin目录下

     $cd hadoop/bin 

     $./hadoop namenode -format    //格式化hadoop namenode,不少时候namenode启动不起来能够试试格式化一下,会好使。

     $./start-all.sh     //启动hadoop的各个监护进程

     能够经过http://localhost:50070   和http://localhost:50030 查看namenode和jobtracker。

     $./stop-all.sh    //关闭hadoop的各个监护进程


能够参考:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

相关文章
相关标签/搜索