大数据面试题总结

时间 2019-11-25

标签数据面试总结栏目快乐工作繁體版

原文原文链接

面试题总结:

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不必定直接链接在本地节点上，而是经过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。

[优势]html

支持超大文件 超大文件在这里指的是几百M，几百GB，甚至几TB大小的文件。前端

检测和快速应对硬件故障在集群的环境中，硬件故障是常见的问题。由于有上千台服务器链接在一块儿，这样会致使高故障率。所以故障检测和自动恢复是hdfs文件系统的一个设计目标node

流式数据访问应用程序能以流的形式访问数据集。主要的是数据的吞吐量，而不是访问速度。linux

简化的一致性模型 大部分hdfs操做文件时，须要一次写入，屡次读取。在hdfs中，一个文件一旦通过建立、写入、关闭后，通常就不须要修改了。这样简单的一致性模型，有利于提升吞吐量。ios

[缺点]面试

低延迟数据访问如和用户进行交互的应用，须要数据在毫秒或秒的范围内获得响应。因为hadoop针对高数据吞吐量作了优化，牺牲了获取数据的延迟，因此对于低延迟来讲，不适合用hadoop来作。算法

大量的小文件Hdfs支持超大的文件，是经过数据分布在数据节点，数据的元数据保存在名字节点上。名字节点的内存大小，决定了hdfs文件系统可保存的文件数量。虽然如今的系统内存都比较大，但大量的小文件仍是会影响名字节点的性能。数据库

多用户写入文件、修改文件Hdfs的文件只能有一次写入，不支持写入，也不支持修改。只有这样数据的吞吐量才能大。apache

不支持超强的事务没有像关系型数据库那样，对事务有强有力的支持。
详情查看：https://www.cnblogs.com/sxt-zkys/archive/2017/07/24/7229857.html编程
Gangila不只能够进行监控，也能够进行告警。（正确）
　　Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量状况等，经过曲线很容易见到每一个节点的工做状态，对合理调整、分配系统资源，提升系统总体性能起到重要做用。ganglia 做为一款最经常使用的 Linux 环境中的监控软件，它擅长的的是从节点中按照用户的需求以较低的代价采集数据。可是 ganglia 在预警以及发生事件后通知用户上并不擅长。最新的 ganglia 已经有了部分这方面的功能。
　　Nagios是一款开源的免费网络监视工具，能有效监控Windows、Linux和Unix的主机状态，交换机路由器等网络设备，打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员，在状态恢复后发出正常的邮件或短信通知。
　　经过将 Ganglia 和 Nagios 组合起来，把 Ganglia 采集的数据做为 Nagios 的数据源，而后利用 Nagios 来发送预警通知，能够完美的实现一整套监控管理的系统。具体能够查看完美集群监控组合 ganglia 和 nagios。
ps.云计算管理三大利器:Nagios、Ganglia和Splunk
Block Size是不能够修改的。（错误）-----它是能够被修改的
Hadoop的基础配置问件事hadoop-default.xml，默认创建一个job的时候会创建job的configuration，首先读入的是hadoop-default.xml的配置，而后再读hadoop-site.xml的配置（这个文件初始的时候配置为空），hadoop-site.xml中主要配置须要覆盖的hadoop-default.xml的系统级配置。具体配置能够参考下
```
<property>
<name>dfs.block.size</name>//block的大小，单位字节，后面会提到用处，必须是512的倍数，由于采用crc作文件完整性校验，默认配置512是checksum的最小单元
<value>5120000</value>
</property>
```
ps.循环冗余校验(Cyclic Redundancy Check, CRC)是一种根据网络数据包或电脑文件等数据产生简短固定位数校验码的一种散列函数，主要用来检测或校验数据传输或者保存后可能出现的错误。它是利用除法及余数的原理来做错误侦测的。
Nagios不能够监控hadoop集群，由于它不提供hadoop支持。（错误）
nagios是集群监控工具，并且是云计算三大利器之一
若是namenode意外终止，secondarynamenode会接替他是集群继续工做。（错误）
secondarynamenode是帮助恢复，而不是替代，如何恢复，能够查看hadoop根据secondarynamenode恢复namenode。在高可用集群中，一个namenode（active）死亡后，ZKFC（zookeeper控制器）仲裁将另外一个standby-namenode启动，转换成active状态，集群继续正常工做。
Cloudera CDH是须要付费使用的。（错误）

第一套付费产品是 Cloudera Enterpris
Hadoop是Java开发的，因此MapReduce只支持Java语言编写。（错误）
rhadoop是用R语言开发的，MapReduce是一个框架，能够理解是一种思想，可使用其余语言开发。
什么是Map/Reduce：
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的状况下，将本身的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证全部映射的键值对中的每个共享相同的键组。
概述：

1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它容许用市场上普通的商用服务器构成一个包含数10、数百至数千个节点的分布和并行计算集群。

2）MapReduce是一个并行计算与运行软件框架（Software Framework）。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通讯、容错处理等并行计算涉及到的不少系统底层的复杂细节交由系统负责处理，大大减小了软件开发人员的负担。

3）MapReduce是一个并行程序设计模型与方法（Programming Model & Methodology）。它借助于函数式程序设计语言Lisp的设计思想，提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操做和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。
实现：
把一堆杂乱无章的数据按照某种特征概括起来，而后处理并获得最后的结果。Map面对的是杂乱无章的互不相关的数据，它解析每一个数据，从中提取出key和value，也就是提取了数据的特征。通过MapReduce的Shuffle阶段以后，在Reduce阶段看到的都是已经概括好的数据了，在此基础上咱们能够作进一步的处理以便获得结果。
Hadoop支持数据的随机读写。（错误）
lucene是支持随机读写的，而hdfs只支持随机读。可是Hbase能够来补救。Hbase提供随机读写，来解决Hadoop不能处理的问题。HBase 自底层设计开始即聚焦于各类可伸缩性问题：表能够很―高‖，有数十亿个数据行；也能够很―宽‖，有数百万个列；水平分区并在上千个普通商用机节点上自动复制。表的模式是物理存储的直接反映，使系统有可能提升高效的数据结构的序列化、存储和检索。
ps.Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程式接口，可以作全文索引和搜寻。在Java开发环境里Lucene是一个成熟的免费开源工具。就其自己而言，Lucene是当前以及最近几年最受欢迎的免费Java信息检索程序库。人们常常提到信息检索程序库，虽然与搜索引擎有关，但不该该将信息检索程序库与搜索引擎相混淆。
namenode负责管理metadata，client端每次读写请求，都会从磁盘中读取或则会写入 metadata 信息并反馈client 端。（错误）
NameNode 不须要从磁盘读取 metadata，全部数据都在内存中，硬盘上的只是序列化的结果，只有每次namenode 启动的时候才会读取。
1）文件写入Client 向 NameNode 发起文件写入的请求。NameNode 根据文件大小和文件块配置状况，返回给 Client 它所管理部分 DataNode 的信息。Client 将文件划分为多个 Block，根据 DataNode 的地址信息，按顺序写入到每个 DataNode 块中。

2）文件读取Client 向 NameNode 发起文件读取的请求。NameNode 返回文件存储的 DataNode 的信息。Client 读取文件信息。
ps.http://www.makaidong.com/%E5%8D%9A%E5%AE%A2%E5%9B%AD%E6%8E%92%E8%A1%8C/9053.shtml
datanode经过长链接与namenode保持通讯。（正确）【答案有分歧，根据本身理解回答便可】

长链接：Client 方与Server 方先创建通信链接，链接创建后不断开，而后再进行报文发送和接收。这种方式下因为通信链接一直存在，此种方式经常使用于点对点通信。

短链接：Client 方与Server 每进行一次报文收发交易时才进行通信链接，交易完毕后当即断开链接。此种方式经常使用于一点对多点通信，好比多个Client 链接一个Server。
Hadoop自身具备严格的权限管理和安全措施保障集群正常运行。（错误）
slave节点要存储数据，因此它的磁盘越大越好。（错误）
一旦slave节点宕机，数据恢复是一个难题。
hadoop dfsadmin -report用于检测HDFS损坏块。（错误）
hadoop dfsadmin -report能够用来查询集群的情况，能够快速定位出各个节点，HDFS的容量和使用量，以及每一个节点的硬盘使用状况。固然这个也能够经过50070端口进行查看，可是这个命令更有利于咱们利用脚原本监控dfs的使用情况
Hadoop默认调度器策略为FIFO。（正确）【first input first output】
FIFO是先入先出队列，是一种传统的按序执行的方法。
Hadoop集群三种做业调度算法介绍
Hadoop集群中有三种做业调度算法，分别为FIFO，公平调度算法和计算能力调度算法。
先来先服务算法FIFO：FIFO比较简单，hadoop中只有一个做业队列，被提交的做业按照前后顺序在做业队列中排队，新来的做业插入到队尾。一个做业运行完后，老是从队首取下一个做业运行。这种调度策略的优势是简单、易于实现，同时也减轻了jobtracker的负担。可是它的缺点也是显然的，它对全部的做业都一视同仁，没有考虑到做业的紧迫程度，另外对小做业的运行不利。
公平调度算法：
这种策略在系统中配置了任务槽，一个任务槽能够运行一个task任务，这些任务就是一个大的做业被切分后的小做业。当一个用户提交多个做业时，每一个做业能够分配到必定的任务槽以执行task任务（这里的任务槽能够理解为能够运行一个map任务或reduce任务）。若是把整个hadoop集群做业调度跟操做系统的做业调度相比，第一种FIFO就至关于操做系统中早期的单道批处理系统，系统中每一个时刻只有一道做业在运行，而公平调度至关于多道批处理系统，它实现了同一个时刻多道做业同时运行。因为linux是多用户的，如有多个用户同时提交多个做业会怎样？在这种策略中给每一个用户分配一个做业池，而后给每一个做业池设置一个最小共享槽个数，什么是最小共享槽个数呢？先要理解一个最小什么意思，最小是指只要这个做业池须要，调度器应该确保可以知足这个做业池的最小任务槽数的需求，可是如何才能确保在它须要的时候就有空的任务槽，一种方法是固定分配必定数量的槽给做业池不动，这个数量至少是最小任务槽值，这样只要在做业池须要的时候就分配给它就好了，可是这样在这个做业池没有用到这么多任务槽的时候会形成浪费，这种策略其实是这样作的，看成业池的需求没有达到最小任务槽数时，名义上是本身的剩余的任务槽会被分给其余有须要的做业池，当一个做业池须要申请任务槽的时候若系统中没有了，这时候不会去抢占别人的（也不知道抢谁的啊），只要当前一个空的任务槽释放会被当即分配给这个做业池。

在一个用户的做业池内，多个做业如何分配槽这个能够自行选择了，如FIFO。因此这种调度策略分为两级：

第一级，在池间分配槽，在多用户的状况下，每一个用户分配一个做业池。
第二级，在做业池内，每一个用户可使用不一样的调度策略。

计算能力调度：计算能力调度和公平调度有点相似，公平调度策略是以做业池为单位分配任务槽，而计算能力调度是以队列为单位分配tasktracker（集群中一个节点），这种调度策略配置了多个队列，每一个队列配置了最小额度的tasktracker数量，同公平调度策略相似，当一个队列有空闲的tasktracker时，调度器会将空闲的分配给其余的队列，当有空闲的tasktracker时，因为这时候可能有多个队列没有获得最小额度的tasktracker而又在申请新的，空闲的tasktracker会被优先分配到最饥饿的队列中去，如何衡量饥饿程度呢？能够经过计算队列中正在运行的任务数与其分得的计算资源之间的比值是否最低来判断的，越低说明饥饿程度越高。

计算能力调度策略是以队列的方式组织做业的，因此一个用户的做业可能在多个队列中，若是不对用户作必定的限制，极可能出如今多个用户之间出现严重不公平的现象。因此在选中新做业运行时候，还须要考虑做业所属的用户是否超过了资源的限制，若是超过，做业不会被选中。

对于在同一个队列中，这种策略使用的是基于优先级的FIFO策略，可是不会抢占。
集群内每一个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。（错误）

hadoop 自己就具备冗余能力，因此若是不是很严格不须要都配备 RAID。

磁盘阵列（Redundant Arrays of Independent Disks，RAID），有“独立磁盘构成的具备冗余能力的阵列”之意。

磁盘阵列是由不少价格较便宜的磁盘，组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提高整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。

磁盘阵列还能利用同位检查（Parity Check）的观念，在数组中任意一个硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后从新置入新硬盘中。
由于HDFS有多个副本，因此namenode不存在单点问题。（错误）
查看1
每一个 map 槽就是一个线程。（错误）
map 槽---->map slot。（org.apache.hadoop.mapred.TaskTracker.TaskLaucher.numFreeSlots）是一个逻辑值，而不是对应着一个县城或者进程。
Mapreduce 的 input split 就是一个 block。（错误）
InputFormat的数据划分、split调度、数据读取三个问题的浅析www.aboutyun.com/thread-6803-1-1.html
Hadoop 环境变量中的 HADOOP_HEAPSIZE 用于设置全部 Hadoop 守护线程的内存。它默认是 200 GB。（错误）

hadoop 为各个守护进程（namenode,secondarynamenode,resourcemanager,datanode,nodemanager）统一分配的内存在 hadoop-env.sh 中设置，参数为 HADOOP_HEAPSIZE，默认为 1000M。
DataNode 首次加入cluster 的时候，若是log 中报告不兼容文件版本，那须要NameNode执行hdfs namenode -format操做格式化磁盘。（错误）

添加了一个新的标识符 ClusterID 用于标识集群中全部的节点。当格式化一个 Namenode，须要提供这个标识符或者自动生成。这个 ID 能够被用来格式化加入集群的其余 Namenode。

持续更新~~~~