Hadoop的升级和从新设计其余编程范式

阿伦穆尔蒂，雅虎Hadoop的地图，下降开发团队负责人最近宣布，并提出了从新设计核心的地图架构Hadoop的减小，以便更容易升级，大集群，快速恢复，并支持除了编程范式到地图，减小。做者对地图的减小Hadoop的核心从新设计分割成一个资源管理器，支持多种模式的集群计算引擎，使得地图的减小用户库，容许一个组织运行图，减小相同的代码的多个版本群集。新的设计是很是类似的开源Mesos集群管理项目 - 包括雅虎和Mesos上的差别和机会发表意见。Silverlight的4更新提升了网络延迟，内存使用状况

新方法的主要好处是：

    *可扩展性：支持16芯6000机集群，48 GB的RAM和48 TB的磁盘，100K的并发任务，和10K兼职
    *供货状况：目前工做Tracker是一个单点故障，要求中止和升级，提高整个集群
    *敏捷：新的设计使得地图的减小用户库，让正在运行的做业，要求在同一个群集的不一样版本
    *较低的延迟：新的设计应容许更快的响应，尤为是规模较小的任务，
    *更好地利用：一个更为复杂的资源调度模型能够减小浪费资源，不争
    *替代编程模型：穆尔蒂指出，有一个为其余模式，如在雅虎的MPI，不少需求

这个从新设计的核心元素是分裂成一个通用的集群资源管理系统的责任，并为地图的减小，或任何其余单独的应用程序编程模型的主人。这将替换做业跟踪和追踪任务。资源管理系统由如下群集范围控制器：女装品牌有哪些

    *一个ResourceManager，可实现集群范围内，如内存，CPU，磁盘，网络等资源调度
    *一个Scheduler插件，它能够实现的ResourceManager不一样的政策（相似于目前的调度程序的API，但使用不一样的接口，须要新的实现）
    *每个ApplicationMaster应用程序（如地图，减小编程）的请求的资源，跟踪进度，处理故障，并能保持状态有关计算