Hadoop(一)伪分布

1.在win7电脑上安装VMware,而后在VMware中安装centos。(过程略)java

2.关闭防火墙node

其中指令:linux

service iptables stop 关闭防火墙centos

service iptables status 查看防火墙状态bash

chkconfig --list | grep iptables  输出 全部服务列 并 过滤防火墙部分(其中有开启状态说明防火墙在某些状况会被打开)ssh

chkconfig iptables off 关闭防火墙状态(使用后防火墙彻底关闭)oop

3.SHH免密码登陆测试

其中指令:加密

ssh-keygen -t rsa 产生秘钥,位于 ~/.ssh文件夹中(rsa为加密方式)spa

加密后生成id_rsa(私钥)和 id_rsa.pub(公钥)

cp id_rsa.pub authorized_keys

(复制公钥更名authorized_keys,由于ssh验证的时候会自动读取authorized_keys文件)

ssh localhost 本身免密码登陆本身(能够测试下)

4.安装JDK(hadoop运行在JDK上的)

    4.1 使用FTP把hadoop安装包和JDK传到linux文件夹下

    4.2 解压JDK并设置系统环境

其中指令:

rm -rf * 删除当前文件下全部文件

cp /root/downloads/* . 复制downloads文件夹下全部文件到当前文件夹下

java -version 查询java版本

rpm -e --nodeps jdk版本号 清除原有的jdk

tar -xzvf JDK的gz压缩包 解压jdk

vi ~/.bashrc 修改配置文件,增长JDK相关配置信息

source ~/.bashrc 让配置文件当即生效

下图为传输安装文件

下图为清除原有的JDK

5.安装hadoop

    5.1解压hadoop tar -zxvf hadoop-1.1.2.tar.gz

    5.2重命名mv hadoop-1.1.2 hadoop

    5.3修改profile文件 vi /etc/profile(增长HADOOP_HOME和PATH)

    5.4让profile文件当即生效source /etc/profile

    5.5修改hadoop配置文件,位于$HADOOP_HOME/conf目录下

        5.5.1 hadoop-env.sh

        5.5.2 core-site.xml

        5.5.3 hdfs-site.xml

        5.5.4 mapred.xml

    5.6执行命令 hadoop namenode -format 对hadoop进行格式化

    5.7执行命令start-all.sh进行启动命令(在HADOOP_HOME/bin目录下)

    5.8执行命令jps查询java进程(除了jps自己外,有五个进程,说明hadoop启动的是java进程)

    5.9也能够在linux中打开火狐输入hadoop:50070进行查看namenode进程(证实namenode存活)

    5.10也能够在linux中打开火狐输入hadoop:50030进行查看Map/Reduce(证实jobtracker存活)

hadoop-env.sh 修改以下图:

core-site.xml 修改以下图:

hdfs-sit.xml修改以下图:

mapred-site.xml修改以下图:

进程在跑,证实配置成功!!!

相关文章
相关标签/搜索