分享知识-快乐本身：Liunx-大数据（Hadoop）初始化环境搭建

大数据初始化环境搭建：

一）：大数据（hadoop）初始化环境搭建

二）：大数据（hadoop）环境搭建

三）：运行wordcount案例

四）：揭秘HDFS

五）：揭秘MapReduce

六）：揭秘HBase

七）：HBase编程

-----------------------------------------------------------------

1）：须要准备三个虚拟机环境（建立方式：能够单首创建三个虚拟机：点我查看如何安装虚拟机、也能够经过克隆方式：点我查看克隆详情）

2）：NET 网络设置（点我查看网络设置）

3）：分别关闭全部虚拟机防火墙

firewall-cmd --state 查看防火墙状态 systemctl stop firewalld.service 临时关闭防火墙（重启后生效） systemctl disable firewalld.service 设置防火墙开机不启动

4）：分别修改三台虚拟机的 主机名 与 对应的IP 。分别以下：

主机器： admin    192.168.31.206 子机器：admin-01  192.168.31.207 子机器：admin-02  192.168.31.208 【可根据实际状况，约束 主机名称 与 IP】

例如：修改 admin （参考主机修改方式 修改子机器）

//永久修改主机名称
hostnamectl --static set-hostname  admin

//修改 hosts 文件
vim /etc/hosts

5）：免密登陆（分别修改三台虚拟机的  /etc/hosts 文件） 分别加入其它两台虚拟机的 域登陆名。

在主机上（admin）生成密钥：

ssh-keygen -t rsa

查看当前目录下的全部文件（包含隐藏文件 .ssh）

ll -a

 

进入 .ssh 目录：

把本机生成的id_rsa.pub复制到另外两个子机器中，重命名为authorized_keys

//须要先远程建立（.ssh目录）
ssh root@admin-01 "mkdir ~/.ssh/"

//将id_rsa.pub进行远程拷贝
scp id_rsa.pub root@admin-01:~/.ssh/authorized_keys //admin-01：为主机名

分别在两个子机器中把authorized_keys 文件的权限改成600：

chmod 600 authorized_keys

在admin节点使用下面命令：（把id_rsa.pub追加到受权的key里面去）

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

在全部机器上使用下面命令（修改SSH配置文件"/etc/ssh/sshd_config"）

vim /etc/ssh/sshd_config RSAAuthentication yes # 启用 RSA 认证 PubkeyAuthentication yes # 启用公钥私钥配对认证方式 AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

6）：全部虚拟机安装JDK（点我查看安装步骤）

 主机安装成功后能够经过复制操做，拷贝到子机器上（每台虚拟机的路径最好保持一致 方便统一管理）

scp  -r   /opt/jdk   root@admin-01:/opt/jdk scp -r   /opt/jdk   root@admin-02:/opt/jdk

把 admin 中的profile文件复制到其余两个机器中：

scp /etc/profile root@admin-01:/etc/profile scp /etc/profile root@admin-02:/etc/profile

以后让两个子机器中的profile文件生效,分别在两个子机器中运行：

source   /etc/profile

 

 点我进行下一步的操做（大数据 Hadoop 环境搭建）