在Windows下安装Hadoop 图文教程

Windows下运 行Hadoop，一般有两种方式：一种是用VM方式安装一个Linux操做系统，这样基本能够实现全Linux环境的Hadoop运行；另外一种是经过 Cygwin模拟Linux环境。后者的好处是使用比较方便，安装过程也简单。在这里我们就来看看第二种方案：如何再Windows下快速安装一个 Hadoop环境，并结合Eclipse开发环境研究和调整Hadoop代码。

整个安装过程包括如下三大步骤：

1. 安装和配置Cygwin（http://cygwin.com/install.html）

2. 安装和配置Hadoop-1.2.1（http://hadoop.apache.org/docs/stable/cluster_setup.html）

3. 安装和配置Eclipse开发环境

1安装和配置Cygwin

在Windows下经过安装Cygwin模拟Linux环境，而后再安装Hadoop，是一种简单方便的方式，为Hadoop准备的模拟Linux环境安装过程以下：

1.1下载安装文件

针对不一样系统类型下载相应的安装文件，下载地址：http://cygwin.com/install.html。

我这里的系统是window 7因此下载的是setup-x86.exe

1.2安装Cygwin

刚刚下载的文件是模拟Linux系统所依赖的软件包下载和管理工具，之后想要在模拟Linux环境中安装或更新软件都须要经过这个工具来完成，下面咱们就先运行起来这个工具以下：

1. 左键双击setup-x86.exe文件运行安装向导：

cygwin安装

1. 点击【下一步】按钮进入程序引导安装页，这里有三个选项，选择第一项网络安装：

• 网络安装：经过网络下载并安装软件包

• 下载但不安装：经过网络下载软件包

• 本地安装：是用本地软件包安装

cygwin安装

1. 点击【下一步】进入选择模拟Linux系统的根目录和用户的向导页。在Linux的文件系统中有且只有一个根目录，在这里选择目录就是Linux中的那个根目录了，这里选择默认：c:\cygwin；用户选择第一项：本系统的全部有效用户。

cygwin安装

1. 点击【下一步】选择本地软件包目录，该工具会自动记住并将之后下载的全部软件包都会放到这里指定的目录。我这里选择：C:\Users\Administrator\Desktop\1，若是选择不存在目录，就好提示是否建立目录选Yes就OK。

cygwin安装

1. 点击【下一步】选择您的网络链接，我这里使用的是代理服务器上网，因此我选择第二项：使用IE浏览器代理设置。经测试选择第三项输入代理服务器地址和端口，不能正常访问网络，缘由不明。

cygwin安装

1. 点击【下一步】，等待下载镜像站点列表，下载完成后出现选择下载软件包的站点。如图：

cygwin安装

1. 根据本身的状况选择合适的下载地址，我这里选择了国内的163站点，点击【下一步】，这个工具就会自动下载软件包信息列表下载完成后进入安装软件包选择页，以下图：

cygwin安装

1. 这一步比较重要，如下软件包要确保被安装：

cygwin安装

注：这个软件包列表由前到后包括：分类、当前安装版本，最新版本，安装可执行文件？，安装源代码文件？，大小，包名称和说明。

• 基础软件包：Base及其下面的全部软件包，操做方法：点击Base后面的Default为Install。

• SSH相关软件包：Net下的OpenSSL和和OpenSSH，用于Hadoop须要的SSH访问，操做方法：点击【+】展开Net节点，点击各个软件包前的最新版本号列的Keep为版本号即为选中安装。

• 其余软件包根据本身的须要选中是否安装便可，我这里还选中了Emacs、VIM、Perl、Python、Ruby、Science、subversion等经常使用工具。

1. 选择完软件包点击【下一步】，进入自动下载与安装，以下图：

   cygwin安装

1. 点击【下一步】进入向导结束页，勾选建立桌面快捷方式点击【完成便可】，如图：

   cygwin安装

到这里，您已经完成了模拟Linux环境的安装，左键双击桌面上的图标打开这个模拟Linux的终端窗口输入几个经常使用Linux命令体验下这个模拟的Linux系统吧，除了能够执行Linux经常使用命令外，还能够执行Windows的命令例如：net start service_name等。体验完成后继续下面的配置工做。

1.3配置Cygwin的SSH服务

Cygwin安装完成后，须要先配置SSH服务，以知足Hadoop提出的SSH无密码登入，过程以下：

打开模拟Linux的终端，进入Linux环境

执行命令：ssh-host-config如图：

• Hadoop安装

第一次询问：“Should privilege separation be used? (yes/no)”，输入no回车。

第二次询问：“Do you want to install sshd a service?”，输入yes回车。

第三次提示：“Enter the value of CYGWIN for the demon: []”，直接回车。

第四次询问：“Do you want to use a different name? (yes/no)”，输入no回车。

第五次提示：“Please enter the password for user ‘cyg_server’:”，输入密码回车，在此输入密码回车。

最后提示配置完成。

1.4启动SSH服务

在Linux终端或Windows命令行执行net start sshd或命令cygrunsrv –S sshd启动SSH服务。

测试ssh登入本机：

在终端执行命令：ssh localhost

提示输入密码：输入密码回车，以下图：

Hadoop安装

 

1.5配置SSH免密码登入

在终端执行命令：ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa生成秘钥。

执行命令：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys生成认证文件。

执行命令：ssh localhost测试是否无需输入密码便可登入。

原文地址：http://blog.csdn.net/nazarite_wen/article/details/34409923