菜鸟的Hadoop快速入门

1、相关概念

一、大数据

大数据是一门概念，也是一门技术，是以Hadoop为表明的大数据平台框架上进行各类数据分析的技术。

大数据包括了以Hadoop和Spark为表明的基础大数据框架，还包括实时数据处理，离线数据处理，数据分析，数据挖掘和用机器算法进行预测分析等技术。

二、Hadoop

Hadoop是一个开源的大数据框架，是一个分布式计算的解决方案。

Hadoop的两个核心解决了数据存储问题（HDFS分布式文件系统）和分布式计算问题（MapRe-duce）。

举例1：用户想要获取某个路径的数据，数据存放在不少的机器上，做为用户不用考虑在哪台机器上，HD-FS自动搞定。

举例2：若是一个100p的文件，但愿过滤出含有Hadoop字符串的行。这种场景下，HDFS分布式存储，突破了服务器硬盘大小的限制，解决了单台机器没法存储大文件的问题，同时MapReduce分布式计算能够将大数据量的做业先分片计算，最后汇总输出。

2、Hadoop特色

优势

一、支持超大文件。HDFS存储的文件能够支持TB和PB级别的数据。

二、检测和快速应对硬件故障。数据备份机制，NameNode经过心跳机制来检测DataNode是否还存在。

三、高扩展性。可建构在廉价机上，实现线性（横向）扩展，当集群增长新节点以后，NameNode也能够感知，将数据分发和备份到相应的节点上。

四、成熟的生态圈。借助开源的力量，围绕Hadoop衍生的一些小工具。

缺点

一、不能作到低延迟。高数据吞吐量作了优化，牺牲了获取数据的延迟。

二、不适合大量的小文件存储。

三、文件修改效率低。HDFS适合一次写入，屡次读取的场景。

3、HDFS介绍

一、HDFS框架分析

HDFS是Master和Slave的主从结构。主要由Name-Node、Secondary NameNode、DataNode构成。

NameNode

管理HDFS的名称空间和数据块映射信存储元数据与文件到数据块映射的地方。

若是NameNode挂掉了，文件就会没法重组，怎么办？有哪些容错机制？

Hadoop能够配置成HA即高可用集群，集群中有两个NameNode节点，一台active主节点，另外一台stan-dby备用节点，二者数据时刻保持一致。当主节点不可用时，备用节点立刻自动切换，用户感知不到，避免了NameNode的单点问题。

Secondary NameNode

辅助NameNode，分担NameNode工做，紧急状况下可辅助恢复NameNode。

DataNode

Slave节点，实际存储数据、执行数据块的读写并汇报存储信息给NameNode。

二、HDFS文件读写

文件按照数据块的方式进行存储在DataNode上，数据块是抽象块，做为存储和传输单元，而并不是整个文件。

文件为何要按照块来存储呢？

首先屏蔽了文件的概念，简化存储系统的设计，好比100T的文件大于磁盘的存储，须要把文件分红多个数据块进而存储到多个磁盘；为了保证数据的安全，须要备份的，而数据块很是适用于数据的备份，进而提高数据的容错能力和可用性。

数据块大小设置如何考虑？

文件数据块大小若是过小，通常的文件也就会被分红多个数据块，那么在访问的时候也就要访问多个数据块地址，这样效率不高，同时也会对NameNode的内存消耗比较严重；数据块设置得太大的话，对并行的支持就不太好了，同时系统若是重启须要加载数据，数据块越大，系统恢复就会越长。

3.2.1 HDFS文件读流程

一、向NameNode通讯查询元数据（block所在的DataNode节点），找到文件块所在的DataNode服务器。

二、挑选一台DataNode（就近原则，而后随机）服务器，请求创建socket流。

三、DataNode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来作校验）。

四、客户端已packet为单位接收，如今本地缓存，而后写入目标文件，后面的block块就至关因而append到前面的block块最后合成最终须要的文件。

3.2.2 HDFS文件写流程

一、向NameNode通讯请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。

二、NameNode返回确承认以上传。

三、client会先对文件进行切分，好比一个block块128m，文件有300m就会被切分红3个块，一个128m、一个128m、一个44m。请求第一个block该传输到哪些DataNode服务器上。

四、NameNode返回DataNode的服务器。

五、client请求一台DataNode上传数据，第一个DataNode收到请求会继续调用第二个DataNode，而后第二个调用第三个DataNode，将整个通道创建完成，逐级返回客户端。

六、client开始往A上传第一个block，固然在写入的时候DataNode会进行数据校验，第一台DataNode收到后就会传给第二台，第二台传给第三台。

七、当一个block传输完成以后，client再次请求NameNode上传第二个block的服务器。

4、MapReduce介绍

一、概念

MapReduce是一种编程模型，是一种编程方法，是抽象的理论，采用了分而治之的思想。MapReduce框架的核心步骤主要分两部分，分别是Map和Reduce。每一个文件分片由单独的机器去处理，这就是Map的方法，将各个机器计算的结果汇总并获得最终的结果，这就是Reduce的方法。

二、工做流程

向MapReduce框架提交一个计算做业时，它会首先把计算做业拆分红若干个Map任务，而后分配到不一样的节点上去执行，每个Map任务处理输入数据中的一部分，当Map任务完成后，它会生成一些中间文件，这些中间文件将会做为Reduce任务的输入数据。Reduce任务的主要目标就是把前面若干个Map的输出汇总到一块儿并输出。

三、运行MapReduce示例

运行Hadoop自带的MapReduce经典示例Word-count，统计文本中出现的单词及其次数。首先将任务提交到Hadoop框架上。

查看MapReduce运行结束后的输出文件目录及结果内容。

能够看到统计单词出现的次数结果

5、Hadoop安装

墙裂推荐：史上最详细的Hadoop环境搭建(http://www.javashuo.com/article/p-xugvrxde-me.html)

一、Hadoop部署模式

本地模式

伪分布式模式

彻底分布式模式

以上部署模式区分的依据是NameNode、Data-Node、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器上。

二、安装步骤（以伪分布式模式为例）

学习Hadoop通常是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行Hadoop的各个模块，伪分布式的意思是虽然各个模块是在各个进程上分开运行的，可是只是运行在一个操做系统上的，并非真正的分布式。

5.2.1 JDK包下载、解压安装及JAVA环境变量配置

exportJAVA_HOME=/home/admin/apps/jdk1.8.0_151

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportPATH=$JAVA_HOME/bin:$PATH

5.2.2 Hadoop包下载、解压安装及Hadoop环境变量配置

exportHADOOP_HOME="/zmq/modules/hadoop/hadoop-3.1.0"

exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

5.2.3 配置Hadoop-env.sh、mapred-env.sh、yarn-env.sh 这个文件的JAVA_HOME参数

exportJAVA_HOME="/home/admin/apps/jdk1.8.0_151"

5.2.4 配置core-site.xml，配置的是HDFS的地址和Hadoop临时目录

5.2.5 配置hdfs-site.xml，设置HDFS存储时的备份数量，这里是伪分布式部署，就填写1

5.2.6 格式化HDFS，启动NameNode、Data-Node、SecondaryNameNode，查看进程

5.2.7 搭建完成，操做HDFS（经常使用的新建目录、上传下载文件等），以及运行MapReduceJob

6、Hadoop更多

以上介绍的仅是对Hadoop的初步学习和使用，Ha-doop的HA彻底分布式部署、Hadoop的资源调度YARN、Hadoop的高可用和容错机制、Hadoop生态圈的其余组件等等尚未去研究，感叹Hadoop水很深，哈哈。

做者简介：梦琴，两年+测试经验，当前主要负责内部平台产品的测试及部分外部交付项目测试。