Linux下Hadoop的安装与配置

序：

今天在这里给你们分享一下如何在Linux下安装与配置Hadoop。

开始进行大数据部分的学习，为了存档，写下如今进行如下的步骤：

须要用到的主要版本：

虚拟机：Vmware Workstation pro 14

Linux系统：CentOS6.5 64bit

jdk版本：jdk1.8.0_111

hadoop版本：hadoop-2.8.4

全部的包都可以在官网下载

Hadoop的官网：http://hadoop.apache.org/

官方文档：http://hadoop.apache.org/docs/current/

下载地址：http://hadoop.apache.org/releases.html

在这次搭建环境中，主要是搭建了一个主节点，两个从节点，hostname分别是master，slave1，slave2

地址设置为静态ip.图形化处理只须要改变右上角网络，

192.168.66.111 master

192.168.66.112  slave1

192.168.66.113  slave2

1、Vmware Workstation+Centos6.5的安装

1.官网选择，安装版本12.5，输入序列号。

2.安装好虚拟机后，安装centos6.5版本的Linux系统。进行相关的环境设置。主要设置以下：

①须要将网络链接NAT，改为host-only模式，右键centos系统，进行编辑。

②将网络设置成静态IP，以便后来进行相关的编程。

③设置DNS解析：

　　使用 vim /etc/sysconfig/network 命令，进行相关更改。  将HOSTNAME的变量给成master

　　设置节点映射，vim /etc/hosts.在文本的最后一行追加内容：192.168.66.111 master

　　验证配置，执行ping master，若是可以ping经过。则表示，这个配置正确。（须要保证网络连通）

同理，须要在其余节点设置相同。

这一步能够颠倒顺序，先配置单机，再配置集群。或者先配置集群在配置单机。只须要注意克隆的顺序便可。可是均须要在hosts文件中，添加节点IP

 

④关闭防火墙（很重要）

　　首先查看防火墙的运行状态：

service iptables status

 若不是关闭状态，就键入：

service iptables stop #临时关闭
chkconfig iptables off #永久关闭

⑤设置SSH自动登陆（必须设置）

　　验证是否安装了SSH。

       命令 ：

rpm -qa |grep ssh  

     若没有安装，则命令进行在线安装：

yum install openssh-server

　　配置SSH免密登陆：

1.ssh-keygen -t rsa  #直接四次回车
2.ssh-copy-id 主机名	 #而后会提示输入密码

　　验证SSH无密码登陆，执行命令  

ssh slave1  #slave1是个人从节点（其余虚拟机）名字，后边会讲到这个知识

      后面不须要密码确认说明配置免密配置成功；若登陆了其余虚拟机的帐户要退出，须要用命令：exit 进行退出。  

再次使用命令ssh slave1以后能够看到登陆信息。

2、JDK的安装

　引用文章：https://blog.csdn.net/hu_belif/article/details/8226255

3、安装Hadoop

 1.安装版本2.8.4版本，必定要下载rpm结尾的版本，进行相关的配置，也许其余也能够，可是没有找到配置文件

2.解压文件。

命令：

tar -xzvf filename

3.设置文件环境变量。 命令  vim /etc/profile    在文件的最后一行，按 o 换行插入，增长如下内容：

export HADOOP_HOME=/usr/program/hadoop-2.5.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

   或者修改成相似下图的格式：

最后，执行命令使更改的资源当即生效。

source /etc/profile

4.验证Hadoop是否安装无缺。

键入命令

hadoop  -version  

若出现以下语句，则说明安装成功。

 

参考文章：http://www.javashuo.com/article/p-vdvwxobx-m.html

 

有问题下方留言或者私信我哦。共同窗习。