spark集群搭建（三台虚拟机）——系统环境搭建（1）

！！！该系列使用三台虚拟机搭建一个完整的spark集群，集群环境以下：

virtualBox5.二、Ubuntu14.0四、securecrt7.3.6_x64英文版（链接虚拟机）

jdk1.7.0、hadoop2.6.五、zookeeper3.4.五、Scala2.12.六、kafka_2.9.2-0.8.一、park1.3.1-bin-hadoop2.6

第一篇：准备三台虚拟机环境，配置静态IP，ssh免密码登陆

第二篇：搭建hadoop集群

第三篇：搭建zookeeper集群

第四篇：搭建kafka集群

第五篇：搭建spark集群

1、虚拟机配置

一、下载安装三台虚拟机

我选择的版本是virtualBox5.二、Ubuntu14.04，virtualBox用起来比VMware要轻便些，开关机快不少，我的体会

注意此处三台虚拟机要使用三个镜像文件，分别放三个文件夹中

二、分别配置三台虚拟机静态IP

http://www.cnblogs.com/suwy/p/9436211.html

三、配置虚拟机到本机映射（三台虚拟机）

进入本机目录，打开hosts文件：C:\Windows\System32\drivers\etc

添加虚拟机IP：

192.168.1.124   spark1
192.168.1.123   spark2
192.168.1.125   spark3

cmd进入windows控制台就能够ping通虚拟机了

 

四、能够使用securecrt链接虚拟机 ，操做起来比较方便

参考：http://www.javashuo.com/article/p-sfndljjh-ds.html

五、配置三台虚拟机之间的IP映射

$ vim /etc/hosts

添加以下（三台虚拟机的IP都要添加）：

192.168.1.124   spark1
192.168.1.123   spark2
192.168.1.125   spark3

此时三台虚拟机之间能够相互ping通

二 、系统环境

一、安装jdk

二、ssh免密码登陆

下载ssh

apt-get install openssh-server

和单机的不一样，集群还要设置几台机器之间相互的免密码登陆

对本机免密码登陆：

$ ssh-keygen -t rsa
$ cd /root/.ssh
$ cp id_rsa.pub authorized_keys

三台机器之间的免密码登陆：

$ ssh-copy-id -i  目标主机名

例如：当前机器spark1,要实现对spark2免密码登陆，则在spark1命令行输入

$ ssh-copy-id -i spark2