初识Hadoop一，配置及启动服务

1、Hadoop简介：

　　Hadoop是由Apache基金会所开发的分布式系统基础架构，实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS；Hadoop框架最核心设计就是HDFS和MapReduce，HDFS为海量数据提供了存储，MapReduce为海量数据提供了计算。

　　Hadoop要解决的问题：海量数据的存储（HDFS）、海量数据的分析（MapReduce）和资源管理调度（YARN）

　　Hadoop主要做用于分布式

2、Hadoop实现机制

　　一、Hadoop是把一个文件切割成多个块(block)，分别存储到不一样服务器上，并且其中某些服务器又存有这个文件的多个块，以下图把文件A分红4块（A1\A2\A3\A4）存放在4个服务器上;这样不只解决了并发请求一个文件时形成的阻塞，增大吞吐量，还作了副本备份

　　　　
　　二、Hadoop分布式部署服务器，那就分主服务器和辅服务器。主服务器也就是NameNode，存储文件分块的相关信息，如哪一个块在哪一个服务器哪一个路径下，而真正存储文件的是辅服务器，即DataNode。客户端请求文件时无需关心如何请求块，只须要知道HDFS为文件虚拟的一个文件路径便可，也就是直接请求NameNode。

　　三、Hadoop只有一个NameNode，能够有多个DataNode，当DataNode不够用时还能够添加

3、Hadoop安装、配置及启动（CentOS7系统）

　　一、官网下载Hadoop  hadoop-2.7.3.tar.gz

　　二、须要的软件环境JDK、SSH、rsync；JDK安装和部署参照本博文linux学习之系统管理、网络配置、软件安装第九步；ssh、rsync安装直接用yum install安装，通常这两个系统自带

　　二、在/home下新建文件夹hadoop，而后经过FlashFXP工具将下载好的hadoop压缩包上传至此文件夹下，使用tar命令解压

　　三、在解压后的文件下修改配置

　　　　（1）、设置JAVA_HOME环境变量(个人JDK安装目录为/home/jdk/jdk1.8.0_73/)

　　　　　　vi命令编辑etc/hadoop/hadoop-env.sh，找到相应位置修改以下：

　　　　　　# The java implementation to use.

　　　　　　#export JAVA_HOME=${JAVA_HOME}

　　　　　　export JAVA_HOME=/home/jdk/jdk1.8.0_73

　　　　（2）、编辑文件etc/hadoop/core-site.xml文件，指定默认文件系统和工做空间(如今还路径下尚未tmp文件夹，执行完hdfs格式化后即可看到相关文件)

　　　　　　<configuration>

　　　　　　　　<property>
　　　　　　　　　　<name>fs.defaultFS</name>
　　　　　　　　　　<value>hdfs://localhost:9000</value>
　　　　　　　　</property>

　　　　　　　　<property>
　　　　　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　　　　　<value>/home/hadoop/hadoop-2.7.3/tmp/</value>
　　　　　　　　</property>
　　　　　　</configuration>

　　　　（3）、编辑文件etc/hadoop/hdfs-site.xml文件，设置文件副本数，也就是文件分割成块后，要复制块个数（因为此处就本机一个节点，伪分布式，因此就配置为1，文件自己，不须要副本）

　　　　　　<configuration>

　　　　　　　　<property>
　　　　　　　　　　<name>dfs.replication</name>
　　　　　　　　　　<value>1</value>
　　　　　　　　</property>

　　　　　　</configuration>

　　　　（4）、编辑文件etc/hadoop/mapred-site.xml文件，此文件其实不存在，二存在mapred-site.xml.template，因此执行命令mv mapred-site.xml.template mapred-site.xml修改此文件名，指定资源调度框架

　　　　　　<configuration>

　　　　　　　　<property>
　　　　　　　　　　<name>mapreduce.framework.name</name>
　　　　　　　　　　<value>yarn</value>
　　　　　　　　</property>

　　　　　　</configuration>

　　　　（5）、编辑文件etc/hadoop/yarn-site.xml文件，yarn也是分布式管理的，因此配置一个主服务器;而后还要配置中间数据调度的机制

　　　　　　<configuration>

　　　　　　　　<property>
　　　　　　　　　　<name>yarn.resourcemanager.hostname</name>
　　　　　　　　　　<value>localhost</value>
　　　　　　　　</property>

　　　　　　　　<property>
　　　　　　　　　　<name>yarn.nodemanager.aux-services</name>
　　　　　　　　　　<value>mapreduce_shuffle</value>
　　　　　　　　</property>

　　　　　　</configuration>

　　四、配置完成后，格式化hdfs系统

　　　　hadoop命令通常在bin文件夹下，因此要执行相关命令要在bin目录下进行操做，为了之后方便，因此要先把hadoop的bin目录配置到环境变量中，还有些命令在sbin目录中，因此也要配置到环境变量

　　　　vi /etc/profile环境变量部分代码以下

　　　　export JAVA_HOME=/home/jdk/jdk1.8.0_73
　　　　export HADOOP_HOME=/home/hadoop/hadoop-2.7.3/
　　　　export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　　　保存后记得用命令source /etc/profile配置当即生效

　　　　（执行前能够看下hadoop安装目录下不存在tmp文件夹）而后执行hadoop namenode -format命令，会发现之前hadoop安装路径下不存在tmp文件夹，如今已经有了

　　五、启动HDFS（sbin下有start-dfs.sh）

　　　　HDFS是分布式系统，因此启动HDFS时，会启动配置的各个服务器节点，包括本机，在启动过程当中是经过ssh远程操做的，因此在不作特殊配置下，每次启动到节点（包括本机）相关操做时，都要输入密码，若是想避免每次都输入密码，可执行下面命令

 　　　　ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
   　　　cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   　　　chmod 0600 ~/.ssh/authorized_keys　　　
　执行start-dfs.sh启动HDFS（因为配置了环境变量，因此能够直接执行，不用切换到sbin目录下）

　　　　启动完后jps命令能够查看正在启动的java服务
　　

　　　　[root@localhost bin]# jps
　　　　28800 SecondaryNameNode
　　　　28619 DataNode
　　　　28524 NameNode
　　　　29068 Jps
　　　　[root@localhost bin]#

　　　　netstat -nltp命令查看所监听的端口

　　　　

[root@localhost bin]# netstat -nltp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 28800/java
tcp 0 0 192.168.36.133:1521 0.0.0.0:* LISTEN 2485/tnslsnr
tcp 0 0 192.168.122.1:53 0.0.0.0:* LISTEN 2397/dnsmasq
tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 28524/java
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1080/sshd
tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN 1084/cupsd
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 2263/master
tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN 28619/java
tcp 0 0 0.0.0.0:50075 0.0.0.0:* LISTEN 28619/java
tcp 0 0 127.0.0.1:38242 0.0.0.0:* LISTEN 28619/java
tcp 0 0 0.0.0.0:50020 0.0.0.0:* LISTEN 28619/java
tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN 28524/java
tcp6 0 0 :::22 :::* LISTEN 1080/sshd
tcp6 0 0 ::1:631 :::* LISTEN 1084/cupsd
tcp6 0 0 :::23 :::* LISTEN 1087/xinetd
tcp6 0 0 ::1:25 :::* LISTEN 2263/master
tcp6 0 0 :::36794 :::* LISTEN 2558/ora_d000_orcl
[root@localhost bin]#

　　　　NameNode和DataNode是经过9000端口通讯的

　　　　50070端口是提供的一个Web页面，个人系统ip是192.168.36.133，访问网址http://192.168.36.133:50070/可查看效果

　　六、启动yarn（yarn也是集群的）

　　执行start-yarn.sh命令（在sbin文件夹下），若是前面没有配置ssh免登陆，也是要输入登陆密码的。执行jps命令查看启动的Java服务，ResourceManager已启动

[root@localhost home]# jps
4080 Jps
3121 DataNode
3320 SecondaryNameNode
3672 ResourceManager
3768 NodeManager
3021 NameNode
[root@localhost home]#

 到此已经配置启动完了，下一节开始使用