hadoop-伪分布环境搭建

软件要求

1. centos6.8
2. jdk1.7
3. hadoop2.6

centos环境配置

1. 关闭防火墙

   service iptables status #查看防火墙状态
   	service iptables stop #关闭防火墙
   	chkconfig --list|grep iptables #查看防火墙关闭状态
   	chkconfig iptables off #关闭防火墙，开机不启动

2. 主机静态ip

   vi /etc/sysconfig/network-scripts/ifcfg-eth0  #修改网络配置文件
    修改以下:
    DEVICE=eth0
    HWADDR=00:0C:29:A7:1D:F7
    TYPE=Ethernet
    UUID=c2111e23-ab5c-4825-87b3-17eb92b0c821
    ONBOOT=yes
    IPADDR=192.168.31.188
    NETMASK=255.255.255.0
    GATEWAY=192.168.31.1
    DNS1=192.168.31.1
    NM_CONTROLLED=yes
    BOOTPROTO=static

3. 修改主机名

   vi /etc/sysconfig/network
    #修改以下
    HOSTNAME=hadoop2
    #保存退出
    hostname

4. 设置主机ssh无密码登陆

   ssh-keygen -t rsa  #生成ssh密钥(一直回车)
    ssh-copy-id -i hadoop2 #生成公钥

5. jdk环境变量配置

   tar xzvf jdk-7u79-linux-x64.tar.gz
    vi /etc/profile #打开全局环境变量
    #尾部添加jdk环境变量
    export JAVA_HOME=/usr/local/soft/install/jdk1.7.0_79
    export PATH=.:$JAVA_HOME/bin:$PATH

HDFS 配置

1. 解压hadoop文件夹

   tar xzvf hadoop-2.6.0.tar.gz

2. hadoop目录结构

   • bin 框架自己的命令

   • sbin 集群所须要的命令

   • etc/hadoop 配置文件

   • lib/native 类库

   • share/hadoop jar包

3. hadoop配置文件修改(已上传网盘，直接覆盖便可http://pan.baidu.com/s/1i4H0Hs5)

   • vi etc/core-site.xml

     • 修改主机名

     • 修改hadoop安装地址

   • vi etc/hadoop-env.sh

     • 修改jdk路径地址

   • vi etc/hdfs-site.xml

   • vi etc/mapred-site.xml

   • vi etc/slaves

     • 从节点主机名

   • vi etc/yarn-site.xml

     • 修改主机名

4. hadoop启动

   • 格式化

     • bin/hdfs namenode -format

   • 启动

     • sbin/start-dfs.sh

   • 验证

   • jps

     31318 NameNode
       31878 Jps
       31578 SecondaryNameNode

5. hadoop访问

   • http://主机名:50070