对于大多数学习者而言,是不具有在真实的分布式环境中进行学习和实验的条件,所以这里我也是利用虚拟机软件搭建一个伪分布式的Hadoop平台。固然,若是有多台闲置PC,则能够搭建一个真实分布式环境,方法是同样的。html
为了保证愉快的学习心情,建议使用更高配置的电脑,否则电脑的卡慢和死机会让人疯掉的。linux
以个人笔记本配置为例,Hadoop在下述环境下能够畅快的奔跑,毫无压力,可供参考:shell
VMware安装以前首先要检查物理机是否支持虚拟化,请确保使用的物理机打开虚拟化功能(Inter VT或AMD V),如不确承认使用LeoMoon CPU-V检测,若是检测结果以下图,则表示CPU及操做系统都支持虚拟化,若是未经过,须要在BIOS中启用Intel虚拟技术,不然没法正常使用Vmware workstation。安全
安装虚拟机软件VMware workstation,安装过程再也不赘述,直接下一步至完成便可。服务器
下载并安装Xmanager Enterprise 5,安装过程也是一路的下一步。完成安装后打开桌面的快捷方式便可看到Xmanager所包含的一系列产品,这里咱们主要使用Xftp和Xshell,Xftp可以完成Windows和linux之间的文件传输。Xshell可以提供Windows SSH访问,能轻松和安全地从Windows PC上访问Linux主机。网络
首先,须要在Vmware中建立虚拟机,而后再为虚拟机安装CentOS操做系统。步骤以下:编辑器
a. 打开Vmware,在软件工做区点击建立新的虚拟机。分布式
b. 随后便弹出新建虚拟机向导,选择【典型】下一步》【稍后安装操做系统】下一步》进入选择操做系统界面。工具
c. 肯定操做系统下一步即进入虚拟机命名和虚拟机位置配置界面。oop
d. 下一步进入磁盘容量分配。
e. 下一步》【自定义硬件】,进入硬件配置界面。CPU和内存可根据本身计算机的配置灵活选择。
f. 光驱选择【使用ISO映像文件】,点击【浏览】选择已下载的CentOS操做系统映像文件,以便下面安装操做系统。
g. 【网络适配器】选项选择【仅主机模式】。
配置完毕,点击完成按钮便可成功建立虚拟机。启动虚拟机便可为其安装CentOS操做系统,简要过程以下。
a. 在WM中启动虚拟机,稍等一下子便可进入语言选择界面,默认是英语,可选择中文。
b、 安装是默认是最小安装,可选择图形界面(即带GUI的服务器)。
c、 为ROOT设置密码,等待安装完成后重启便可。
首先编辑Vmware的网络模式,在Vmware菜单栏中选择【编辑】>>【虚拟网络编辑器】,打开虚拟网络编辑器对话框。
而后启动虚拟机,进入CentOS登录界面,使用root登录主机,在桌面点击右键打开一个控制台。
输入ifconfig查看网卡信息。一块物理网卡能够有多个配置文件,但只能启用其中一个,能够看到ens或eno开头的网卡。
重启可配置进入命令界面,不进入图形界面,这样能够有效缓解物理机的资源压力,能提升运行速度。
完成IP配置后,可以在物理机上ping通linux主机IP,便可使用Xshell登录至linux主机,这样可以大幅提升效率。首先打开Xshell,进入新建会话对话框,配置链接名称和linux主机的IP,而后在用户身份验证界面输入帐号密码,便可完成链接配置。而后链接该会话,如弹出安全警告,选择【接受并保存】便可。
【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下
【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下
【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下