Hadoop学习--伪分布式部署--day01

1.伪分布式安装准备工做

   上传hadoop-2.7.3.tar.gz  /soft

   虚拟机Java安装完毕

        卸载原有的openjdk的版本

        # java -version若是看到有openjdk的字样就是说明是系统带的openjdk版本

        # rpm -qa|grep jdk

        用相似以下的方法删除上面的rpm包

           #rpm -e --nodeps   java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

        检查是否还有jdk1.5的版本，有就删除

        #rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64

        #解压新下载的jdk的安装包

        配置环境变量

2.解压hadoop

   $tar -xzvf hadoop-2.7.3.tar.gz

3.配置环境变量

   编辑/etc/profile，添加以下内容

   export JAVA_HOME=/soft/jdk1.8.0_111

   export HADOOP_HOME=/soft/hadoop-2.7.3

   export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

   而且把以上的内容写到/home/hadoop/.bashrc中

4.配置SSH免密码登录

   $ssh-keygen -t rsa （四个回车）

   执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

   将公钥拷贝到要免登录的机器上

   $cd /home/hadoop/.ssh

   $cat id_rsa.pub >> ~/.ssh/authorized_keys

   $chmod 600 authorized_keys  

   

   mkdir ./ssh

   chmod 700 ~/.ssh cd ~/.ssh

   ssh-keygen -t rsa 

   cd ~/.ssh

   cat /root/.ssh/id_rsa.pub > authorized_keys

   chmod 600 ~/.ssh/authorized_keys

   scp authorized_keys userB:/root/.ssh/

   注：A 为管理主机，B为被管理主机。

5.修改core-site.xml

   添加以下信息

<configuration>

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost/</value>

</property>

</configuration>

6.修改hdfs-site.xml

<!-- 指定HDFS副本的数量 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>  

7.修改mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

8.修改yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

<!-- reducer获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

9.格式化namenode（是对namenode进行初始化

  $hdfs namenode -format (hadoop namenode -format)

10.启动hadoop

  先启动HDFS

  $start-dfs.sh 

  $start-yarn.sh

  关闭的顺序最好相反

11.目录操做

  $hadoop fs -mkdir -p /user/hadoop

  $hadoop fs -ls /

  $hadoop fs -ls -R /

  $hadoop fs -lsr /

  上传

  $hadoop fs -put <linux上文件>  <hdfs上的路径>

  $hadoop fs -put local.txt /user/hadoop/xx.txt   //将本地文件put到hdfs文件系统

  查看文件内容

  $hadoop fs -cat <hdfs上的路径>

  下载文件

  $hadoop fs -get <hdfs上的路径> <linux上的文件>

12.查看帮助

  $hadoop fs  //直接回车

  $hadoop fs -help put //查看put的具体信息

13.查看namenode和datanode在本地

  $cd /tmp/hadoop-hadoop/dfs/name/...   //第一个hadoop是hadoop用户登录启动建立的

  $cd /tmp/hadoop-hadoop/dfs/data/...

14.查看log文件

  $ $HADOOP_HOME/logs

15.经过webui查看日志或者集群状况

  http://localhost:500070/    //namenode web server port

  http://localhost:8088/      //resourceManager,只有在本机访问才能够。hadoop集群信息

  http://localhost:19888/     //historyServer 

16.经过netstat查看网络端口占用状况

  $netstat  -lnpt  //l:listener  u:udp  p:program  name