不得不收藏的大数据Hadoop教程：Hadoop集群搭建

搭建环境安装时间同步Yum install -y ntpdate 网络时间同步命了 服务器地址是阿里云ntpdate ntp1.aliyun.com 手动时间同步方式date -s "20190622 12:32:00" #yyyymmdd hh:mm:ss彻底分布式服务器namenodesecondaryNameNodedatanode Hadoop01有 Hadoop02 有有 Hadoop03 有Hadoop04 有Ps:这里咱们已经将时间同步,主机名称,网络通讯,hosts映射都作完,以上步骤省略

​

上传到目录中而后进行解压

​

后面的路径本身写进入到对应的路径 就能够查看版本了配置环境变量是为了之后方便使用

​

​

将进入和这个里配置环境变量,这是一个全局的环境变量谁均可以使用了在最后添加

​

保存退出 而后而后从新加载资源文件

​

而后执行java -version 1.先解压hadoop安装包 到 /opt/softwar/路径下

​

1. 修改配置文件先修改 /hadoop2.7.1/etc/hadoop/hadoop-env

​

3.修改相同路径下 core-site.xml hdfs-site.xml

修改core-site.xml内容

​

修改hdfs-site.xml

​

1. 添加从节点(datanode) 相同路径下 slaves

​

5.添加hadoop路径做为全局

修改 vi /etc/profile

​

从新加载资源

source /etc/profile

6.免秘钥

图解:

​

hadoop01和hadoop02,03,04免秘钥.由于hadoop01是namenode须要管理01,02,03,04服务器,因此应该完成面秘钥操做

若机器中没有ssh命令 yum install openssh-clients.x86_64 -y 先产生.ssh文件夹 隐藏文件 而且在~(家)目录下

​

发送公钥给01,02,03,04

ssh-copy-id 服务器名称 下面图片是一个例子

​

7.分发hadoop安装包 由于已经配置完成直接分发便可 分发给02,03,04分发命令是scp -r是递归 表明分发的是文件夹而且文件夹下面还有文件 scp 发送文件

scp -r 当前主机软件安装的路径 主机名/IP:发送过来软件要存在在当前机器下的路径

scp -r /opt/software/hadoop-2.7.1/ hadoop02:/opt/software/

8.修改02,03,04机器上vi /etc/profile文件并配置HADOOP_HOME

配置成功后重新加载 source /etc/profile

9.启动集群可是 当前集群是第一次配置

须要格式化 namenode 在hadoop01

hdfs namenode -format

ps:这个命令只能第一次开启集群的时候格式化,之后进入公司,集群是搭建好的,千万不要

10.开启集群

start-dfs.sh 开启集群

stop-dfs.sh 中止集群

模块化开启

ps:

所有启动 start-all.sh

所有中止 stop-all.sh

单个角色启动

hadoop-daemon.sh start namenode或datanode或secondarynamenode hadoop-daemon.sh stop namenode或datanode或secondarynamenode直接杀死角色 kill -9 进程