【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-上

0. 环境说明及软件准备

  对于大多数学习者而言,是不具有在真实的分布式环境中进行学习和实验的条件,所以这里我也是利用虚拟机软件搭建一个伪分布式的Hadoop平台。固然,若是有多台闲置PC,则能够搭建一个真实分布式环境,方法是同样的。html

  为了保证愉快的学习心情,建议使用更高配置的电脑,否则电脑的卡慢和死机会让人疯掉的。linux

  以个人笔记本配置为例,Hadoop在下述环境下能够畅快的奔跑,毫无压力,可供参考:shell

1. VMware workstation安装

  VMware安装以前首先要检查物理机是否支持虚拟化,请确保使用的物理机打开虚拟化功能(Inter VT或AMD V),如不确承认使用LeoMoon CPU-V检测,若是检测结果以下图,则表示CPU及操做系统都支持虚拟化,若是未经过,须要在BIOS中启用Intel虚拟技术,不然没法正常使用Vmware workstation。安全

  安装虚拟机软件VMware workstation,安装过程再也不赘述,直接下一步至完成便可。服务器

2. Xmanager Enterprise 5安装

  下载并安装Xmanager Enterprise 5,安装过程也是一路的下一步。完成安装后打开桌面的快捷方式便可看到Xmanager所包含的一系列产品,这里咱们主要使用Xftp和Xshell,Xftp可以完成Windows和linux之间的文件传输。Xshell可以提供Windows SSH访问,能轻松和安全地从Windows PC上访问Linux主机。网络

3. CentOS安装

  首先,须要在Vmware中建立虚拟机,而后再为虚拟机安装CentOS操做系统。步骤以下:编辑器

  a.  打开Vmware,在软件工做区点击建立新的虚拟机。分布式

  b.  随后便弹出新建虚拟机向导,选择【典型】下一步》【稍后安装操做系统】下一步》进入选择操做系统界面。工具

  c.  肯定操做系统下一步即进入虚拟机命名和虚拟机位置配置界面。oop

  d.  下一步进入磁盘容量分配。

  e.  下一步》【自定义硬件】,进入硬件配置界面。CPU和内存可根据本身计算机的配置灵活选择。

  f.  光驱选择【使用ISO映像文件】,点击【浏览】选择已下载的CentOS操做系统映像文件,以便下面安装操做系统。

  g.  【网络适配器】选项选择【仅主机模式】。

  配置完毕,点击完成按钮便可成功建立虚拟机。启动虚拟机便可为其安装CentOS操做系统,简要过程以下。

  a.   在WM中启动虚拟机,稍等一下子便可进入语言选择界面,默认是英语,可选择中文。

  b、  安装是默认是最小安装,可选择图形界面(即带GUI的服务器)。

  c、  为ROOT设置密码,等待安装完成后重启便可。

4. Linux虚拟机网络配置

  首先编辑Vmware的网络模式,在Vmware菜单栏中选择【编辑】>>【虚拟网络编辑器】,打开虚拟网络编辑器对话框。

  而后启动虚拟机,进入CentOS登录界面,使用root登录主机,在桌面点击右键打开一个控制台。

  输入ifconfig查看网卡信息。一块物理网卡能够有多个配置文件,但只能启用其中一个,能够看到ens或eno开头的网卡。

  重启可配置进入命令界面,不进入图形界面,这样能够有效缓解物理机的资源压力,能提升运行速度。

5. Xshell工具使用

  完成IP配置后,可以在物理机上ping通linux主机IP,便可使用Xshell登录至linux主机,这样可以大幅提升效率。首先打开Xshell,进入新建会话对话框,配置链接名称和linux主机的IP,而后在用户身份验证界面输入帐号密码,便可完成链接配置。而后链接该会话,如弹出安全警告,选择【接受并保存】便可。

6. Linux节点配置

    【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下

7. JDK安装配置

    【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下

8. Hadoop安装配置

    【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下

9. Hadoop启动

    【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下

相关文章
相关标签/搜索