Hadoop安装配置

1.java环境

参考文章

2.ssh

参考文章

3.hadoop

• 下载安装包

  地址

• 解压

  mkdir /hadoop
  mv 下载路径 /hadoop
  tar -xvf /hadoop/hadoop-2.9.2.tar.gzip

• 配置hadoop环境变量

  保存

4.伪分布式

• 添加 jdk

• 修改 core-site.xml

  <configuration>
          <property>
               <name>hadoop.tmp.dir</name>
               <value>file:/usr/local/hadoop/tmp</value>
               <description>Abase for other temporary directories.</description>
          </property>
          <property>
               <name>fs.defaultFS</name>
               <value>hdfs://localhost:9000</value>
          </property>
  </configuration>

• 修改hdfs-site.xml

  <configuration>
          <property>
               <name>dfs.replication</name>
               <value>1</value>
          </property>
          <property>
               <name>dfs.namenode.name.dir</name>
               <value>file:/usr/local/hadoop/tmp/dfs/name</value>
          </property>
          <property>
               <name>dfs.datanode.data.dir</name>
               <value>file:/usr/local/hadoop/tmp/dfs/data</value>
          </property>
  </configuration>

• 配置好之后，执行NameNode的格式化

  ./bin/hdfs namenode -format

• 启动namenode和datanode进程，并查看启动结果

  ./sbin/start-dfs.sh

• 成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。