第一次启动hadoop

启动步骤:node

  1. 修改hadoop配置文件
    shell

    conf/mapred-site.xml,添加如下内容ubuntu

<property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>

  conf/core-site.xml,添加如下内容浏览器

<property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>

  conf/hdfs-site.xml,添加如下内容ssh

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

   conf/hadoop-env.sh,添加如下内容jvm

export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45

   其中JAVA_HOME指向个人jdk安装路径tcp

2.设置免密码登陆oop

    由于Hadoop启动启动/中止脚本时须要经过SSH发送命令启动相关守护进程,为了不每次启动/中止Hadoop输入密码验证,须要设置免密码登陆,具体步骤以下:code

   1)打开shell终端,输入如下命令:orm

ssh-keygen -t rsa

   会在“~/.ssh/"目录下生成公匙文件id_rsa.pub和私匙文件id_rsa

    1)将公匙文件id_rsa.pub中的内容复制到同目录下如authroized_keys文件中:

cd ~/.ssh/
cat id_rsa.pub >> authroized_keys

3. 启动hadoop

1)格式化HDFS:

./hadoop namenode -format

2)启动hadoop

./start-all.sh

在个人ubuntu 桌面版中有由于默认没有安装ssh server,会报如下错误:

connect to host localhost port 22: Connection refused

解决方法是安装ssh server便可

connect to host localhost port 22: Connection refused

启动成功后用如下命令确认hadoop已经启动成功

jason@jason-ThinkPad-E450:~/release-1.0.1/bin$ netstat -ant|grep 50030
tcp6       0      0 :::50030                :::*                    LISTEN     
jason@jason-ThinkPad-E450:~/release-1.0.1/bin$ netstat -ant|grep 50070
tcp6       0      0 :::50070                :::*                    LISTEN

用浏览器访问localhost:50030/,localhost:50070/能够查看MapReduce和HDFS的运行状况。

相关文章
相关标签/搜索