Hadoop简单安装配置

Hadoop开始设计以Linux平台为运行目标，因此这里推荐在Linux发行版好比Ubuntu进行安装，目前已经有Hadoop for Windows出来，你们自行搜下文章。

Hadoop运行模式分为单机、伪分布式、真实分布式三种，默认安装到本地后是单机模式。

 

1. 安装Jdk

Hadoop是用Java编写的，因此须要先装jdk，在oracle官网（http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html）下载压缩包后，放置到/opt目录下，用以下命令解压

sudo tar -xvf jdk-8u77-linux-x64.tar.gz

加入环境变量JAVA_HOME和PATH

export JAVA_HOME=/opt/jdk1.8.0_77
export PATH=/opt/jdk1.8.0_77:${PATH}

 

2. 下载安装Hadoop

在官网下载，这里下载Hadoop-1.2.1版本为例子，下载tar.gz压缩包（https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/），一样防止在/opt目录下

以下命令解压

sudo tar -xvf hadoop-1.2.1.tar.gz

加入环境变量HADOOP_HOME和PATH

export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=/opt/hadoop-1.2.1/bin:${PATH}

进入/opt/hadoop-1.2.1/conf目录中，打开hadoop环境变量配置文件hadoop-env.sh，解开JAVA_HOME并修改上本身的jdk目录

 

若是须要将环境变量永久配置建议修改我的目录下的Profile文件：

sudo gedit ~/.bashrc

并在末尾添加

export JAVA_HOME=/opt/jdk1.8.0_77

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_INSTALL=/opt/hadoop-1.2.1

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

 

3. 设置ssh免密码登陆

输入如下命令声明ssh秘钥，整个过程都直接回车，不须要输入任何密码信息

ssh-keygen

最后会在你的我的目录下的.ssh文件夹中生成一个id_rsa.pub文件，继续执行下面命令将该秘钥追加到authorized_keys中：

sudo cp /home/xxx/.ssh/id_rsa.pub /home/xxx/.ssh/authorized_keys

这个时候执行下列命令看看是否能登录

ssh localhost

若是出现下列错误的话说明你本地没有装openssh-server

ssh: connect to host localhost port 22: Connection refused [closed]

则安装openssh-server

sudo apt-get install openssh-server

 

若是出现下列提示，说明你要本地的openssh-client的版本已通过时，须要更新了

由于openssh-server是要依赖client的话，按照如上的截图提示信息，须要安装对应的openssh-client版本：

sudo apt-get install openssh-client=1:5.3p1-3ubuntu3

安装完后，则能够安装openssh-server了。随后启动ssh服务，并查看ssh服务是否启动

这个时候ssh localhost就能够登陆本地了

 

到此，本地Hadoop安装完毕