Hadoop 3.0.0-alpha1几个值得关注的特性

时间 2019-12-08

标签 hadoop 3.0.0 alpha1 alpha 几个值得关注特性栏目 Hadoop 繁體版

原文原文链接

一、支持纠删码：意味着更灵活的存储策略，即常用的数据利用备份方式存储（3倍存储消耗），冷数据利用纠删码容错（1.4倍存储消耗，但会形成额外的IO及CPU消耗）；apache

二、MapReduce任务支持本地map output collector：对于shuffle密集型的任务能够提高30%速度；负载均衡

三、支持两个以上的NameNode：适用于容错性高的场景；oop

四、支持DataNode内部balancer：原来的balancer只能作到DataNode间的负载均衡，新加的balancer能够实现DataNode中各个磁盘间的均衡；内存

五、自动的堆内存管理：任务的堆内存大小再也不依赖于固定配置，而是改成max和min区间自动调节，以达到更高的内存使用效率。hadoop

参考： http://hadoop.apache.org/docs/current内存管理