Hadoop技术资料汇总（不断更新中）

这些资料都是我在工做中学习、解决问题的资料汇总，我不能保证这里罗列的全部资料对看到的人有用，但大部分都通过个人实际验证。在不断学习和实践过程当中，我会不断更新和总结这些资料，同时欢迎你们留言交流。感谢这些资料的做者。

1、HDFS

一、集群安装：

Hadoop 2.6.0 HA高可用集群配置详解

二、NameNode：

HDFS NameNode内存全景

三、DataNode：

Hadoop--HDFS之DataNode

四、权限管理：

HDFS权限管理实践

五、数据平衡：

How does the HDFS balancer work internally?

HDFS Commands, HDFS Permissions and HDFS Storage

HORTONWORKS官方文档：Balancing in HDFS

六、集群治理：

应对Hadoop集群数据疯长，这里祭出了4个治理对策！

基于FsImage的HDFS数据深度分析

NameNode Analytics: PayPal’s Big Data Guardian

七、问题汇总：

（1）Hadoop Non DFS Used大小问题：

Hadoop hdfs界面：Hadoop Non DFS Used大小问题

关于hadoop hdfs中Non DFS Used占用很大的问题分析处理

（2）小文件处理：

HDFS自定义小文件分析功能

HDFS文件目录list操做加速优化

（3）Namenode写Journalnode超时，致使Namenode挂掉的问题：

Namenode写Journalnode超时，致使Namenode挂掉的问题

java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond

关于机房交换机故障致使HDFS NameNode挂掉的问题（续）

NameNode HA异常调查

Timed out waiting 20000ms for a quorum of nodes to respond

namenode gc致使的故障一例

Standby NameNode is faling and only one is running

（4）HDFS NameNode 重启优化

（5）Hadoop节点"慢磁盘"监控

八、其余：

（1）Hadoop学习之路（十二）分布式集群中HDFS系统的各类角色

（2）监控相关：

HDFS Ports

hadoop指标项

NameNode Metrics

How to collect Hadoop metrics

2、YARN

一、调度队列：

Hadoop多用户资源管理–Fair Scheduler介绍与配置

Yarn公平调度器Fair Scheduler根据用户组分配资源池

YARN ResourceManager重启做业保留机制

【Free Style】Hadoop-Yarn之Resource Manager源码分析(四)

二、NodeManager：

NodeManager节点自身健康状态检测机制

三、ResourceManger：

ResourceManger Restart

YARN资源本地化深度解析

四、监控：

yarn社区原生界面详解

五、问题汇总：

（1）资源不足、任务资源分配不合理、队列资源分配不合理引发的资源预留问题：

What is Memory reserved on Yarn

Aggregate Resource Allocation for a job in YARN

（2）任务kill：

YARN批处理方式kill Applications解决方案

（3）Flink实时计算集群：ZooKeeper闪断致使的YARN任务状态不一致引发的RM崩溃问题：

NullPointerException in RM HA enabled 3-node cluster

NPE happened when RM restart after CapacityScheduler queue configuration changed

Flink on YARN with HA enabled crashes all RMs on attempt restoration

六、其余：

查看YARN任务日志的几种方式

YARN ApplicationId的生成方式

Yarn: Application Id - How is it generated ?

3、集群维护

关于DataNode更改IP地址后所可能引起HDFS集群状态变化的分析

4、博客&文章

一、lxw的大数据田地

二、过往记忆

三、Android路上的人

四、石杉的架构笔记：

兄弟，用大白话告诉你小白都能看懂的Hadoop架构原理

大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问

【性能优化的秘密】Hadoop如何将TB级大文件的上传性能优化上百倍

五、每日 7 千次的跨部门任务调度，有赞怎么设计大数据开发平台？

六、Yarn FairScheduler 的资源预留机制致使的一次宕机事故分析

七、张翼：Spark SQL在携程的实践经验分享！

5、参考书籍

深度剖析Hadoop HDFS，林意群 著

Hadoop技术内幕：深刻解析YARN架构设计与实现原理，董西成 著

大数据日知录，张俊林著

6、其余

一、Hadoop源码编译：

（1）环境准备：

• Mac安装protobuf 流程

• How to install Autoconf, Automake and related tools on Mac OS X from source?，执行以下命令安装：

brew install autoconf automake libtool

（2）编译：

Hadoop工程根目录下的BUILDING.txt中Maven build goals部分列出了编译Hadoop源码要用的maven命令，如下是参考文章：

• Mac编译Hadoop源码

• 大数据源码编译系列——Hadoop编译

编译命令：

mvn clean package -Pdist,native -DskipTests -Dtar

（3）问题解决：

• Mac Missing tools.jar 解决方案

• 关闭DocLint特性