一直深深困扰个人问题——hadoop 重启集群后,以前运行的job运行状态都丢失了

努力以后老是存在回报的,我花了三天时间终于找到了问题所在:apache

配置文件yarn-site.xml:oop


<property>
        <name>yarn.resourcemanager.recovery.enabled</name>测试

       <!--默认值为false,也就是说resourcemanager挂了相应的正在运行的任务在rm恢复后不能从新启动-->
        <value>true</value>
</property>网站

<property>
        <name>yarn.resourcemanager.store.class</name>spa

        <!--此版本的rmstate信息存放主要有两种,一种是FileSystemRMStateStore,另外一种是MemoryRMStateStore,还有一种目前较为主流的是zkstore,正在测试中,2.2版本还未提供-->                     server

        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore</value>
</property>xml

<property>
        <name>yarn.resourcemanager.fs.state-store.uri</name>blog

       <!--此处配置为hdfs存储状态信息,还能够配置为存放在本地路径,之因此存放在hdfs上是考虑都若是rm节点彻底挂掉,还能够在其余节点上启动rm直接读取hdfs信息,若是放在本地文件系统上还须要进行状态信息的同步。-->
        <value>hdfs://mycluster/rmstore</value>
 </property>hadoop

 

另外附上 官网地址:http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 同步

其余版本本身参考 :

 

我的网站:   http://blog.tbnb1.cn 后期更新所有移到此网站更新

相关文章
相关标签/搜索