Hadoop 3中的磁盘管理大招解密
译者：王辉 校对：胥峰node
一、前言
本文深刻研究 HDFS 磁盘平衡的新特性，这是 Hadoop3 中加入的一个特性。安全
HDFS 如今包括（在 CDH 5. 8. 2 和更高版本中发布）用于跨节点移动数据的全面的存储容量管理方法。服务器
在 HDFS 中，DataNode 将数据块分散到本地文件系统目录中，这可使用 hdfs-site.xml 文件的 dfs.datanode.data.dir 参数指定。app
在典型的安装中，每一个目录（在 HDFS 术语中称为卷）位于不一样的设备上（例如，在单独的 HDD 和 SSD 上）。运维
当向 HDFS 写入新块时，DataNode 使用卷选择策略为块选择磁盘。ide
当前支持两种此类策略类型：oop
轮询（round-robin）spa
可用空间（available space）（HDFS-1804）线程
简而言之，如图1所示，轮询策略在可用磁盘上均匀分布新块，而可用空间策略优先将数据写入具备最大可用空间（按百分比）的磁盘。3d
图1
默认状况下，DataNode 使用基于轮询的策略写入新块。可是，在长期运行的集群中，因为 HDFS 中大规模文件删除或经过磁盘热交换特性添加新 DataNode 磁盘等事件，DataNode 仍然可能建立了显著不平衡的卷。
即便您使用基于可用空间的卷选择策略，卷不平衡仍然可能致使效率较低的磁盘 I / O。
例如：每一个新写入将转到新添加的空磁盘，而其余磁盘在此期间是空闲的，这会在新磁盘形成瓶颈。
最近，Apache Hadoop 社区开发了服务器离线脚本（在 HDFS-1312，dev@ mailing list 和 GitHub 中所讨论的），以缓解数据不平衡问题。
可是，因为处于 HDFS 代码库以外，这些脚本要求 DataNode 在磁盘之间移动数据以前脱机。
所以，HDFS-1312 还引入了一种在线磁盘平衡器，旨在根据各类指标从新平衡正在运行的 DataNode 上的卷。
与 HDFS 平衡器相似，HDFS 磁盘平衡器做为 DataNode 中的线程运行，以便在具备相同存储类型的卷之间移动块文件。
在本文的剩余部分，您将了解为何以及如何使用此新特性。
二、如何使用磁盘平衡器？
让咱们经过一个例子逐步探讨这个有用的特性。
首先，确认在全部 DataNode 上配置 dfs.disk.balancer.enabled 设置为 true。
从 CDH 5.8.2 起，用户能够经过 Cloudera Manager 中的 HDFS 安全阀片断指定此配置：
在此示例中，咱们将向预加载的 HDFS DataNode 添加一个新磁盘（/mnt/disk1），并将新磁盘挂载到 /mnt/disk2。
在 CDH 中，每一个 HDFS 数据目录位于单独的磁盘上，所以可使用 df 显示磁盘使用状况：
显然，是时候让磁盘平衡了！
典型的磁盘平衡器任务涉及三个步骤（经过 HDFS diskbalancer 命令实现）：计划，执行和查询。
在第一步中，HDFS 客户端从 NameNode 读取关于指定的 DataNode 的必要信息，以生成执行计划：
从输出中能够看出，HDFS 磁盘平衡器使用计划器来计算指定 DataNode 上数据移动计划的步骤，这是经过使用 DataNode 向 NameNode 报告的磁盘使用信息来完成的。
每一个步骤指定要移动数据的源卷和目标卷，以及预计移动的数据量。
在编写本文时，HDFS 支持的惟一计划器是 GreedyPlanner ，它不断将数据从最经常使用的设备移动到最少使用的设备，直到所有数据均匀分布在全部设备上。
用户还能够在计划命令中指定空间利用率的阈值；所以，若是空间利用率的差别低于阈值，则计划器认为磁盘是平衡的。
另外一个值得注意的选项是经过在计划过程当中指定— bandwidth 来限制磁盘平衡器任务 I/O，以便磁盘平衡器 I/O 不会影响前台工做。
磁盘平衡器执行计划生成为存储在 HDFS 中的 JSON 文件。
默认状况下，计划文件保存在 /system/diskbalancer 目录下：
要在 DataNode 上执行计划，请运行：
此命令将 JSON 计划文件提交给 DataNode，DataNode 在后台 BlockMover 线程中执行它。
检查 DataNode 上磁盘平衡器任务的状态，请使用 query 命令：
输出（PLAN_DONE）表示磁盘平衡任务已完成。要验证磁盘平衡器的有效性，请再次使用 df -h 查看跨两个本地磁盘的数据分布：
输出确认磁盘平衡器成功地将卷之间的磁盘空间使用率差别下降到10％如下。任务完成！
要阅读有关 HDFS 磁盘均衡器的更多详细信息，请阅读 Cloudera 文档和上游文档。
三、总结
随着 HDFS-1312 中引入期待已久的内部 DataNode 磁盘平衡器特性，CDH 5.8.2 及更高版本中带来的 HDFS 版本提供了一个全面的存储容量管理解决方案，能够实现如下3种数据移动：跨节点（平衡器）、存储类型（Mover）和单个 DataNode 中的磁盘（磁盘平衡器）。
四、感谢
HDFS-1312 由来自 Hortonworks 的 Anu 工程师、Zhou Xiaobin 和 Arpit Agarwal 以及来自 Cloudera 的 Lei（Eddy）Xu 和 Manoj Govindasamy 合做开发。
胥峰
盛大游戏高级研究员
《Linux 运维最佳实践》做者、《DevOps: A Software Architect'sPerspective》译者，拥有10年运维经验。
中英文对照版PDF下载连接：
https://pan.baidu.com/s/1o7EJIae
密码: ws93