Win7 安装hadoop并配置hadoop环境

阅读本文前，请先安装并配置好JAVA环境，具体步骤可百度，或者我后续有时间会出攻略

 

1. 首先，去官网下载hadoop，网址：http://hadoop.apache.org/

点击 Download 进入下载界面，我下载的是 2.8.4 binary。

 

1. 下载完成后解压，我解压的目录为 D:\hadoop\hadoop-2.8.4

 

3、配置环境变量

（1）计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME

 

（2）Path环境变量下配置【%HADOOP_HOME%\bin;】变量

 

注：关于系统变量和用户变量，我个人喜好配置系统变量，因为搜索时先搜索系统变量，后搜索用户变量，而且我电脑也就我一个人使用。用户变量与系统变量的区别是：系统变量对于所有人生效，用户变量仅对当前登录用户生效。

 

4、hadoop环境测试：

 

起一个cmd窗口，起到hadoop/bin下，hadoop version，显示如下：

 

5、hadoop基本文件配置：hadoop配置文件位于：hadoop/etc/hadoop下

 

core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml （四个文件的详细左右请百度，或者后期有时间我会单独补充）

（1）、core-site.xml

（2）、hdfs-site.xml

 

（3）、mapred-site.xml

（4）、yarn-site.xml

 

5、格式化系统文件：

 

hadoop/bin下执行 hdfs namenode -format

 

待执行完毕即可，不要重复format。

 

格式化完成后到hadoop/sbin下执行 start-dfs启动hadoop

 

访问：http://localhost:50070  网页类似下面这样

 

注：这步可能会有两个地方导致报错，一个是没有这两个文件，可以百度下载，或者如果大家需要可以私信我，我放网盘。另一个是文件存储路径，由于我这篇是在纯 win7 环境下装的，所有路径有所不同，大家可仔细看前面的 xml 文件配置，存在盘符路径 /d:/。、

 

6、在hadoop/sbin下启动start-yarn，访问http://localhost:8088可查看 资源、节点管理

 

7、运行hadoop提供的demo，计算单词数量

 

（1）、在你电脑任意位置创建一个文本文件如D:\hadoop\hadoop_test.txt

（2）、用dfs创建一个文件夹，名字任意

 

（3）、把hadoop_test.txt上传到dfs，并查看

 

-put 是上传命令

 

-ls是查看命令

 

如图：已经上传成功

 

 

（4）、然后运行hadoop 提供的demo，计算单词数

 

运行结果在dfs中的/test/output文件夹下，可用命令查看

 

至此我们的hadoop环境搭建工作就已经全部结束啦~