Spark集群搭建——SSH免密码验证登录

机器准备

笔者有三台机器，左侧栏为ip，右侧为hostname，三台机器都有一个名为spark的用户。经过ping验证三台是能够通讯的。

192.168.248.150 spark-master
192.168.248.153 ubuntu-worker
192.168.248.155 spark-worker1

根据机器信息加入到三台机器的/etc/hosts中。

配置

咱们须要设置spark-master 可以免密码验证登录ubuntu-worker、spark-worker1两台机器。

1. 安装ssh

   sudo apt-get install openssh-server

2. 生成秘钥

   执行命令ssh-keygen -t rsa，而后一直按回车键便可。
   

3. 复制spark-master结点的id_rsa.pub文件到另外两个结点：

   scp id_rsa.pub spark@ubuntu-worker:~/.ssh/

4. 到另外两个结点，将公钥加到用于认证的公钥文件中:

   cat id_rsa.pub >> authorized_keys
   

5. 修改两个worker的authorized_keys权限为600或者64四、将.ssh文件权限改成700

   chmod 700 .ssh

   chmod 600  authorized_keys

6. 验证:

   登录spark-master，在终端输入ssh ubuntu-worker,登录成功则说明配置成功。