【Java 学习笔记】 Hadoop学习笔记

简介

Hadoop是Apache开发的一个用于大规模分布式计算的开源工程。主页地址：http://hadoop.apache.org/。

安装

在windows上安装Hadoop文档：http://wenku.baidu.com/view/6af47921af45b307e8719799.html

简单介绍下步骤吧

Step 1. 安装cygwin，cygwin是在windows的平台上模拟Linux环境的虚拟机。要注意安装的时候cygwin的安装组件最好全选，由于之后再加比较麻烦。

Step 2. 使用cygwin安装sshd服务。文档：http://ebiquity.umbc.edu/Tutorials/Hadoop/05%20-%20Setup%20SSHD.html

    安装指令：ssh-host-config

    由于第一次使用安装cygwin的时候cygwin的窗口被我直接叉掉了（注意win7下面必须用管理员权限打开cygwin！！），因此后面都须要overwrite一些已生成的文件。

截图以下：

  

   有问到权限分离，具体是什么意思也不清楚，可是在说明文档里特别讲了填no。

  

   问是否要安装ssh，选择yes，然后会出现“Enter the value of CYGWIN for the daemon: []”，填上 ntsec

  

   以后问是否要用一个不一样的名字，选了no，后面的那个选了yes

  

   然后就是键入密码什么的，最后出现了have fun！这个词，你就成功了～～

  

   安装成功sshd后须要启动sshd服务，路径：计算机-管理-服务和应用程序-服务-cygwin sshd-右键启动。

Step 3. 配置ssh登陆

   在cygwin中使用ssh-keygen生成密钥文件，以下图所示：（一直按回车知道出现下面的那张大图，三次回车）

  

   以后以下图操做（跟着文档的步骤走的）

  

   完成上面步骤后，写入exit，退出cygwin（若是不那么作会出问题，是否是由于在ssh的目录下？）

   从新打开cygwin，输入 ssh localhost，在问是否继续的时候回答yes。 以后就会打出一张图片，颇有爱哦～

  

Step 4. 下载hadoop安装包：

   在hadoop网站上找到下载的端口（common）：http://www.apache.org/dyn/closer.cgi/hadoop/common/

   在里面能够找到离本身最近的下载点（看到有北京交通大学的镜像，这个挺近的）：http://mirror.bjtu.edu.cn/apache//hadoop/common/

   下载了2.3.0，就随便下了个版本，hadoop-0.23.0.tar.gz，59.43M。

Step 5. 安装hadoop

   1. 将hadoop解压到自定义的目录，D:\Useful Software\Software Installed\hadoop\run

   2. 修改hadoop中文件的配置

•  修改hadoop-evn.sh

          将JAVA_HOME设为JDK的目录便可，JDK版本必须大于1.6

•  修改core-site.xml

　　    

• x修改