centos7中Hadoop3.0集群搭建

Hadoop3.0版本搭建

1、配置jdk1.8(Hadoop3.0版本以上需要jdk7以上)
下载jdk1.8
解压jdk资源包到/usr/local/java下
2、 配置jdk环境变量
vim /etc/profile（文件末添加一下内容）

export JAVA_HOME=/usr/local/java
 export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
 export PATH="$JAVA_HOME/bin:$PATH"

然后执行source /etc/profile使文件生效
3、查看环境变量是否修改成功
java -version

Hadoop集群网络扩扑

开始搭建集群

1、准备三台虚拟机
192.168.25.101 master
192.168.25.102 cluster1
192.168.25.103 cluster2
2、定义主机与ip对应
vim /etc/hosts
192.168.25.101 master
192.168.25.102 cluster1
192.168.25.103 cluster2
vim /etc/hostname(定义主机名)
master
3、免密登录设置
略
4、配置hadoop下的etc/hadoop/Hadoop-env.sh文件
vim Hadoop-env.sh
export JAVA_HOME=/usr/local/java
5、配置core-site.xml文件
fs.default.name定义hadoop的namenode地址
hadoop.tmp.dir定义hadoop的数据文件夹

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://cluster1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/tmp</value>
        </property>
</configuration>

6、配置hdfs-site.xml文件
dfs.replication设置副本数量
dfs.permissions设置客户端访问权限

<configuration>
        <property>
                <name>dfs.replication</name> 
                <value>2</value>
        </property> 
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property> 
</configuration>

7、配置mapred-site.xml文件

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>cluster1:9001</value>
        </property>
</configuration>

8配置workers文件
vim workers追加一下内容
master
cluster1
cluster2
9、设置hadoop中的脚本文件start-dfs.sh,stop-dfs.sh
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
10、设置hadoop中的脚本文件start-yarn.sh,stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
11、关闭linux的防火墙
12、start-all.sh启动hadoop
13、界面如下