【Hadoop】：Windows下使用IDEA搭建Hadoop开发环境

时间  2021-01-02
标签 html java node linux git github apache 编程 windows 浏览器 栏目 Hadoop 繁體版
原文   原文链接

笔者鼓弄了两个星期，终于把全部有关hadoop的环境配置好了，一是虚拟机上的彻底分布式集群，可是为了平时写代码的方便，则在windows上也配置了hadoop的伪分布式集群，同时在IDEA上就能够编写代码，同时在windows环境下进行运行。（若是不配置windows下的伪分布式集群，则在IDEA上编写的代码没法在windows平台下运行）。笔者在网络上找了不少有关windows下使用idea搭建hadoop开发环境的中文教程都不太全，最后使用国外的英文教程配置成功，所以这里整理一下，方便你们使用。html

 

个人开发环境以下：java

　　1.Windows10node

　　2.Java 8 linux

　　3.VMware-workstation-progit

 

1.Hadoop在windows当中的安装

首先在Windows系统里打开浏览器，下载hadoop的安装包（二进制文件）:http://hadoop.apache.org/releases.htmlgithub

打开网址，咱们会发现这样的界面：
apache

 因为hadoop在开发当中咱们经常使用了2.x版本的，所以这里咱们这里下载2.10.1版本的。若是你想使用其余版本的进行下载，那么在下载以前须要检查如下maven仓库里是否有相应版本所对应的版本，否则在使用IDEA进行开发的时候，则没法运行。咱们打开网址：https://mvnrepository.com/编程

在其中搜索hadoop.则会出现如下的界面：windows

 鼠标往下滑动,发现果真！2.10.1的版本出现了！所以咱们可使用找个版本的hadoop，由于在maven仓库里是能够找到的，这样就不会出现没法编程调用hadoop的问题：浏览器

2.将下载的文件进行解压

咱们下载以后的文件二进制文件后缀名为tar.gz，你能够来到你下载的地方，使用windows下的压缩包软件直接进行解压，我使用的是2345压缩软件进行的解压。有些教程让咱们必须在windows下模拟的linux环境下（MinGW）才可以解压，其实彻底不用，就把tar.gz看成普通的压缩文件就行了，解压以后将文件夹改名为hadoop。

3.设置环境变量

  1. 一方面是要设置好Java的环境变量
  2. 另外一方面是要设置好刚刚下载的Hadoop的环境变量

咱们在环境变量处分别设置JAVA_HOME和HADOOP_HOME（目的是为了hadoop在运行的时候可以找到本身和java的地方在哪儿）:

 而后在Path里添加JAVA和hadoop的二进制文件夹，bin文件夹，目的是咱们这样就可使用cmd对java和haodoop进行操做：

 4.验证环境变量的配置

打开你的cmd，输入如下命令，出现我这样的输出说明配置环境变量成功：

C:\Users\lenovo>hadoop -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

5.HDFS的配置

接下来就是配置HDFS的文件，进行伪分布式集群以适应你的计算机。（备注：伪分布式集群也是分布式集群，能够起动分布式计算的效果）

咱们来到以前解压的hadoop文件夹下，打开etc/hadoop文件夹，发现里面有不少文件：

 如今咱们的任务就是修改这些文件当中的代码，务必修改，否则根本没法运行hadoop！！

6.修改 hadoop-env.cmd

打开这个文件，在找个文件当中的末尾添加上：

set HADOOP_PREFIX=%HADOOP_HOME%
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

7.修改core-site.xml

将configuration处更改成：

<configuration>
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://0.0.0.0:9000</value>
   </property>
</configuration>

8.hdfs-site.xml

将configuration处更改成以下所示，其中

file:///F:/DataAnalytics/dfs/namespace_logs
file:///F:/DataAnalytics/dfs/data

这两个文件夹必定须要是已经存在的文件夹，你能够在你的hadoop文件夹下随意建立两个文件夹，而后将下面的这两个文件夹的绝对路径替换成你的文件夹，这里我也是建立了两个新的文件夹，hadoop的下载文件夹里自己是没有的。

<configuration>
   <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
   <property>
     <name>dfs.name.dir</name>
     <value>file:///F:/DataAnalytics/dfs/namespace_logs</value>
   </property>
   <property>
     <name>dfs.data.dir</name>
     <value>file:///F:/DataAnalytics/dfs/data</value>
   </property>
</configuration>

9. mapred-site.xml

将下方的%USERNAME%替换成你windows的用户名！！！这个十分重要，不要直接复制！！！

<configuration>
   <property>
      <name>mapreduce.job.user.name</name>
      <value>%USERNAME%</value>
    </property>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
  <property>
     <name>yarn.apps.stagingDir</name>
     <value>/user/%USERNAME%/staging</value>
   </property>
  <property>
     <name>mapreduce.jobtracker.address</name>
     <value>local</value>
   </property>
</configuration>

10.yarn-site.xml

修改成以下所示：

<configuration>
   <property>
     <name>yarn.server.resourcemanager.address</name>
     <value>0.0.0.0:8020</value>
   </property>
  <property>
     <name>yarn.server.resourcemanager.application.expiry.interval</name>
     <value>60000</value>
   </property>
  <property>
     <name>yarn.server.nodemanager.address</name>
     <value>0.0.0.0:45454</value>
   </property>
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
  <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
  <property>
     <name>yarn.server.nodemanager.remote-app-log-dir</name>
     <value>/app-logs</value>
   </property>
  <property>
     <name>yarn.nodemanager.log-dirs</name>
     <value>/dep/logs/userlogs</value>
   </property>
  <property>
     <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>
     <value>0.0.0.0</value>
   </property>
  <property>
     <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>
     <value>0.0.0.0</value>
   </property>
  <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
   </property>
  <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>-1</value>
   </property>
  <property>
     <name>yarn.application.classpath</name>
     <value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>
   </property>
</configuration>

11.初始化环境变量

在windows下的cmd，输入cmd的命令，用于初始化环境变量。hadoop-env.cmd后缀为cmd，说明是cmd下可执行的文件：

%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd

12.格式化文件系统（File System）

这个命令在整个hadoop的配置环境和以后的使用当中务必仅使用一次！！！！否则的话后续会致使hadoop日志损坏，NameNode没法开启，整个hadoop就挂了！

将以下的命令输入到cmd当中进行格式化：

hadoop namenode -format

输出：

2018-02-18 21:29:41,501 INFO namenode.FSImage: Allocated new BlockPoolId: BP-353327356-172.24.144.1-1518949781495
2018-02-18 21:29:41,817 INFO common.Storage: Storage directory F:\DataAnalytics\dfs\namespace_logs has been successfully formatted.
2018-02-18 21:29:41,826 INFO namenode.FSImageFormatProtobuf: Saving image file F:\DataAnalytics\dfs\namespace_logs\current\fsimage.ckpt_0000000000000000000 using no compression
2018-02-18 21:29:41,934 INFO namenode.FSImageFormatProtobuf: Image file F:\DataAnalytics\dfs\namespace_logs\current\fsimage.ckpt_0000000000000000000 of size 390 bytes saved in 0 seconds.
2018-02-18 21:29:41,969 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0

13.向hadoop文件当中注入winutills文件

因为windows下想要开启集群，会有必定的bug，所以咱们去网站：https://github.com/steveloughran/winutils

下载对应版本的winutils.exe文件。打开这个Github仓库后以下所示：

 咱们打开hadoop2.8.3/bin，选择其中的winutils.exe文件进行下载，而后将下载的这个文件放入到本地的hadoop/bin文件当中。否则的话，你打开一下子你的伪分布式集群，立刻hadoop就会自动关闭，缺乏这两个文件的话。

我本地的bin文件最终以下所示：

 14.开启hadoop集群

下面就是最激动人心的开启hadoop集群了！！！！咱们在cmd当中输入：

C:\Users\lenovo>%HADOOP_HOME%/sbin/start-all.cmd
This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons

这样就会跳出来不少黑色的窗口，以下所示：

 而后可使用JPS工具查看目前开启的node有哪些，若是出现namenode，datanode的话说明集群基本上就成功了。以下所示：

 15.打开本地浏览器进行验证

咱们在浏览器输入localhost:50070,若是可以打开这样的网页，说明hadoop已经成功开启：

接下来就能够开始IDEA的配置了

16.建立MAVEN项目工程

打开IDEA以后，里面的参数和项目工程名称随便写，等待工程建立完毕便可。而后咱们编辑pom.xml文件，以下所示：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.atguigu</groupId>
    <artifactId>hdfs1205</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.10.1</version>
        </dependency>
    </dependencies>

</project>

由于我使用了2.10.1版本，所以导入的包均为2.10.1，除了log4j，这个是固定的2.8.2版本的。

而后点击我箭头指向的同步maven仓库，以下所示：

 同步完成以后，IDEA左边的external libararies处就会显示大量的有关hadoop的jar包，以下所示：

 这样就说明咱们导入maven仓库成功了。

17.编写代码

如今咱们开始编写代码，在开启hadoop伪分布式集群以后，代码才能够运行哦！

代码以下所示：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class Test {
    public static void main(String[] args) throws Exception {
        FileSystem fs = FileSystem.get(new URI("hdfs://127.0.0.1:9000"), new Configuration());

        FileStatus[] files = fs.listStatus(new Path("/"));
        for (FileStatus f : files) {
            System.out.println(f);
        }
        System.out.println("Compile Over");
    }
}

这段代码的含义是遍历hadoop文件系统(HDFS)下的root下全部文件的状态，并输出，因为我目前并无在HDFS下put了任何文件，所以不会有输出，出现这样的输出，说明代码代码运行成功：

 exit code 0，返回code为0说明运行成功！

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程